А ты уверен, что твой блог не имеет дублей?
Всем привет! Все кто в теме наверное знаю что на блоге Шелвина проходит потрясающий конкурс с очень вкусными призам, конечно же такое событие я не мог пройти стороной и написал огромную статью аж на 10 000 символов которую назвал “ТОП -10 эффективных советов как вести блог основанных на личном опыте”. Вчера хотел её опубликовать, но перестала реагировать клавиатура на нетбуке (все свои статьи пишу лёжа на кровати с нетбуком, так мне лучше думается) я сначала не понял в чём дело, вроде ни где не ронял его. И вдруг я почувствовал резкий запах, доносившийся от клавиатуры… неожиданно кот по имени Борис вышел из моей комнаты и я сразу почувствовал неладное. И что вы думаете? Кот насал на мой любимый нетбук, моему гневу не было предела. Клавиатуру замочил на ночь, а нетбук пока в разобранном состоянии. Дальнейшая его судьба пока не известна…. Так что сегодня постик немного другого плана.
Помниться обещал вам написать статью как я выявил и удалил дубли страниц, создававшие их древовидные комментарии на блоге. Дублирование материалов критически повлияет на позиции страниц в поисковых системах вашего блога, вплоть до вылета из индекса так что давайте серьёзно отнесёмся к этому вопросу и прочитаем статью очень до конца.
Первый раз? Подпишись на обновления и будь в курсе seo движения.
Начну с того что где то в ноябре у меня был застой связанный с тем что по истечению 4 месяцев введения блога на него ни как не хотели идти посетители с поисковых систем и в связи с этим у меня опускались руки, статьи вообще переставал писать. Я начал искать причину в чём заключается проблема, читал всякие разные посты по аудиту сайтов и многое др. И по чистой случайности обнаружил в панели google вебмастер, что в индексе у меня 837 страниц учитывая то что на тот момент у меня всего было примерно 40 постов и 2-3 статические страницы.
Интересно было то что одна страница дублировалась по сотни раз имея странное окончание оканчивавшиеся всё время другим идентификационным номером типа ?replytocom=2989
Привожу вам наглядный пример из своего google вебмастера:
Забив фразу в гугле дубли страниц, так и не нашёл ничего существенного что бы мне помогло в решении данной проблемы, после чего я начал подробно изучать одну свою статью (на самом деле не важно какую так как дублируются все страницы) на наличие этого странного слова replytocom и по чистой случайности его обнаружил. Оказалось то что, наводя на любой комментарии на ссылку ответить в нижней панели моего брузера google chrome появлялась ссылка с этим странным словом. Вот вам живой пример как это выглядит при наведении:
Правда этот скриншот не моего блога, просто нашёл в сети давно заброшенный блог lifegirls.ru на котором имеется такая проблема, и использовал я его, чтобы показать вам наглядно имеющиеся дубли страниц. И так обратите внимание на то что, ответив на этот комментарий, мы получим дубль страницы с номером 51, который попадёт в индекс. И вот тому доказательства:
Кстати вот таким простым способом вы можете вычислить дают ли ваши древовидные комментарии дублированный контент или забив в гуле следующий запрос site:site.ru replytocom, конечно же за место site подставить ваш домен.
Как устранить дублирование материалов replytocom?
Первым делом вам необходимо отключить древовидные комментарии на блоге. В панели администрирования зайдите Параметры -> Обсуждение и уберите галочку с древовидных комментариев как показано на скриншоте.
Не бойтесь все комментарии, которые были вложены не куда не денутся они просто будут идти по порядку . Следующей вашей задачей будет поставить запрет на индексирования страниц имеющие окончания replytocom.
Для этого вам необходимо в robots.txt добавить следующие функции:
- Disallow: /*?replytocom
- Disallow: /*?*
- Disallow: /*?
Чтобы убедиться, что данные страницы заблокированы, зайдите в свою панель google вебмастер, а далее Диагностика -> Ошибки сканирования и убедитесь в том что страницы с этим окончанием заблокированы. Вот вам мой пример:
После этого в индексе поисковых систем останутся только целевые страницы вашего блога без всяких дублей, но если вы жизни не мыслите без древовидных комментариев, то на этот случай есть куча плагинов которые с лёгкостью решат вашу проблему не дублируя посты.
Ну вот и всё! Теперь ты знаешь, как выявить и устранить у себя на блоге дублированные материалы, которые создают древовидные комментарии. О других способах дублирования контента в cms wordpress я писал вот в этой статье “Тонкая настройка плагина all in seo pack”
P.S.
Если ты первый раз посетил мой блог, то я надеюсь наше с тобой общение на этом не заканчивается и мы увидимся в новых статьях моего блога, так что не забудь подписаться на обновления. Дублирование материалов – низкие позиции
Напоследок предлагаю посмотреть вам видео как закрыть дубли в wordpress
У меня вроде всё нормально. Вебмастер гугл показывает, что такие дубли заблокированы, хотя я в файле robots.txt не прописано вроде такого)
Даниил, раз заблокировано значит всё нормально.
Кстати расскажи как ты вывел Топ комментаторов так красиво? =)
Интересно, не знал о таком =)
Я не проверял, что там у меня с дублями, но на всякий случай выполнил инструкцию, спасибо =)
Блогу будет три месяца, с поисковиков идут человек 10, вот сейчас тоже ищу проблемы и разбираюсь что делаю не так! Инфа полезная!!!
ValeronVoronin, основная проблема вашего блога заключаеться в том что статьи не заточены под ключевые слова, а так же не релевантны.
Читайте мою серию статей как попасть в топ с реактивной скоростью
С моим всё впорядке, а так интересно было прочитать =)
Так же нашел проблему, но добавил сразу в robots.txt, комментарии оставил красивыми.
Если в robots.txt закрыто, то зачем убирать древовидные комментарии?
Точно такая же проблема, так и не поборол вроде. В индексе яндекса их нет, однако в гугле их под 700. Так и не нашел нормального решения проблемы, даже в Маулнете тему создавал. В общем, поставил в роботс те строки, посмотрим, что выйдет. А древовидные комменты убирать не хочется, ибо удобная вещь.
Согласен с Недоблогером, мне например древовидные комменты больше нравятся.
Хочу огорчить! У тебя в индексе Гугла 1200 страниц. Срочно нужно принимать меры по избавлению от дублей, robots.txt в этом деле не поможет. У меня эта проблема тоже была, теперь почти решена, но еще не полностью
Согласен с Олегом, зачем отключать древовидные комментарии, если закрыты все ссылки на них в robots.txt?
Это просто мой бзик) Я отключил на всякий случай
Еще стоит проверить дублирование контента на страницах с www и без.
Даже если они закрыты в роботс, эти страницы висят в мусорных проиндексированых страницах гугла, которые не участвуют в поиске и убрать их оттуда не получается. а убирать для того чтобы количество проиндексированых страниц яндексом и гуглом было примерно равно!!!
Не задумывался над этим вопросом. А вчера заметил, что нажимая на статью на главной странице моего сайта, после слеша появилось “#.T_r_kpFj0u4”. Нажимая снова на название страницы – символы исчезают. Тут и вспомнил, что видел на “jonyit.ru” статью про дубли страниц. Но, данная статья не решила мою проблемку. Да и рассказывет она свего лишь об одной из причин дублирования контента :(. (Лучше писать статью-обзор, как про плагины).
Ps: Очень много орфографичевских и пунктуационных ошибок/описок. (хотя это не мешает иметь ТИц 20). Поставьте “Орфус”.
Даже если они закрыты в роботс, эти страницы висят в мусорных проиндексированых страницах гугла/
Не факт!
Может в дублях и есть причина , что мой бложик сидит на одном месте?
У меня точно комментарии древовидные.Сейчас буду проверять в гуглвебмастере.
Иду искать дубли страниц…
ну вот nekopaju.ru я посмотрел не имеет дублей
Антон! Благодарю за внимание к моему блогу.Значит, древовидные комментарии не та уж и вредны? И на возникновение дублей не влияют?
Антон, если, конечно, возможно получить ответ на этот вопрос, был бы бесконечно благодарен, и не только я. Проверяю сайты программой внутренней перелинковки Линкоскоп, программа выдает ряд страниц с одинаковыми title. Для блога это плохо. но есть трудность в их отыскании, хоть в программе и прописаны адреса. Нет ли быстрого и эффективного решения по поиску этих страниц, особенно это важно для начинающих.
Пётр, одинаковые title можно выявить с помощью бесплатного сервиса от megaindex
http://audit.megaindex.ru/.
Но зачастую подобные программы типа линкоскоп,xenu,addstudio в отчётах содержат 60% откровенного бреда, который можно игнорировать Однако всё же каждый сайт нужно рассматривать индивидуально [:–_)]
Антон, я нахожу адреса этих страниц, но каким образом поступать с ними дальше.Простое механическое пролистывание и ручное удаление .Или есть другие возможности для этого. И вообще, интересно происхождение этих страниц. Не являются ли дубли результатом архивирования на автомате, или здесь иная причина. Фактически, это тоже дубли.
Антон, я в своих комментариях предлагал воспользоваться статьей о файле robots.txt и давал ссылку, а здесь у Вас и видео от Сергея Куприянова стоит на ту же тему.Вероятно, давно не были в гостях у Сергея и не изучали его новые материалы? Тем более стоит быстрее зайти и изучить новые исследования по теме
Я его блог не посещал тогда, а видео в ютюбе нашёл. Мне понравилось и я решил вставить его в статью [:–_)]
так как ответа про древовидные комментарии не дождалась, а количество комментариев у меня растет- решила сделать на обеих блогах древовидные комменты.
Конечно, отвечать сразу стало легче.
Приветствую, как с вашей точки зрения, имеет ли мой сайт дубли или еще есть какие-нибудь проблемы? Может быть обменяемся перекрестно ссылками?
Здравствуйте мне ваша статья встретилась уже посл того, как я убрала все дубли с сайта. Я ее все равно прочла, потому что сначала с дублями помучилась месяц. Так же искала дубли и ничего путнего не находила. пока не задала вопрос о том , что такое реплитоком. Как трудно начинающим,опытные блоггеры все забыли и отвечают на непонятном нам языке. А ваша статья мне очень понятна, жаль что она мне не встретилась раньше, я бы не потеряла целый месяц.
Ксения Юрьевна,беда с этими дублями не миновала и меня
У меня с местами в гугле все пока нормально. Что с ними делать Удалять или что?
Говорят, что и плагины никакие не спасают
И еще, подскажите, вы зделали, как здесь Виталий советует? http://mojwp.ru/replytocom-301-htaccess.html И что у него за форма комментирования такая???
Кристина, на самом деле есть один способ как избавиться от этого, но о нем я буду рассказывать на закрытом марафоне. подробности здесь:
http://jonyit.ru/prodaychie/marafon.html
Здравствуйте, Антон! Хочу попросить у Вас совета.
Два месяца назад блог попал под фильтр АГС. Думала, предполагала и анализировала различные причины – дубли, проблемы с доступностью хостинга Спринтхост(были проблемы на хостинге).
Убрала древовидные комментарии – это первое, что я сделала и запрет в файле robots.txt.
Теперь фильтр сняли – все страницы вернулись в поиск. Мне советуют для удобства – вернуть функцию древовидных комментариев – но что то побаиваюсь.
Прочитала, что вы не хотите: “Это просто мой бзик) Я отключил на всякий случай”
И я вот в сомнениях…
Поисковые роботы отличают комментарии от основного текста. Лара, это навряд ли агс, его бы не сняли из-за комментов.Скорей всего из-за проблем на хостинге, сайт был не доступен, вот и выпали страницы.
вот вы пишите – Убрала древовидные комментарии – это первое, что я сделала и запрет в файле robots.txt
Какой запрет в роботс вы поставили?
У вас в любом случае много лишних страниц и дублей, так как яндекс в поиск взял 52 страницы, а гугл нашел аж 654 страницы, но в поиске участвуют только 15% от них.
Евгений, спасибо что ответили за Антона:))
Вполне может быть, что хостинг.
Я поставила запрет в файле robots.txt Disallow: *?replytocom
Меня просто смущает, почему Антон не возвращает древовидные комментарии.
“Это просто мой бзик) Я отключил на всякий случай” какой то призрачный ответ, а хочется конкретики.
Хотя, понять можно. Интересно, а что же мне делать с моими 654 страницами? Я слышала мнение, что надо их вручную удалять.
Проверял сайт разным софтом и обнаружил что они показывают, что у меня есть страницы site.com и site.com/index.html. также онлайн генератор сайтмапа тоже это показывает. Это дубли? как избавиться от ненужного?