А ты уверен, что твой блог не имеет дублей?

Всем привет! Все кто в теме наверное знаю что на блоге Шелвина проходит потрясающий конкурс с очень вкусными призам, конечно же такое событие я не мог пройти стороной и написал огромную статью аж на 10 000 символов которую назвал “ТОП -10 эффективных советов как вести блог основанных на личном опыте”.  Вчера хотел её опубликовать, но перестала реагировать клавиатура на нетбуке (все свои статьи пишу лёжа на кровати с нетбуком, так мне лучше думается) я сначала не понял в чём дело, вроде ни где не ронял его. И вдруг я почувствовал резкий запах, доносившийся от клавиатуры… неожиданно кот по имени Борис вышел из моей комнаты и я сразу почувствовал неладное. И что вы думаете? Кот насал на мой любимый нетбук, моему гневу не было предела. Клавиатуру замочил на ночь, а нетбук пока в разобранном состоянии.  Дальнейшая его судьба пока не известна….  Так что сегодня постик немного другого плана.

Помниться обещал вам написать статью как я выявил и удалил дубли страниц, создававшие их древовидные комментарии на блоге. Дублирование материалов критически повлияет на позиции страниц в поисковых системах вашего блога, вплоть до вылета из индекса так что давайте серьёзно отнесёмся к этому вопросу и прочитаем статью очень до конца.

Первый раз? Подпишись на обновления и будь в курсе seo движения.

Начну с того что где то в ноябре у меня был застой связанный с тем что по истечению 4 месяцев введения блога на него ни как не хотели идти посетители с поисковых систем и в связи  с этим у меня опускались руки, статьи вообще переставал писать. Я начал искать причину в чём заключается проблема, читал всякие разные посты по аудиту сайтов и многое др. И по чистой случайности обнаружил в панели google вебмастер, что в индексе у меня 837 страниц учитывая то что на тот момент у меня всего было примерно 40 постов и 2-3 статические страницы.


Интересно было то что одна страница дублировалась по сотни раз имея странное окончание оканчивавшиеся  всё время другим идентификационным номером типа   ?replytocom=2989

Привожу вам наглядный пример из своего google вебмастера:

Забив  фразу в гугле  дубли страниц, так и не нашёл ничего существенного что бы мне помогло в решении данной проблемы, после чего я начал подробно изучать одну свою статью (на самом деле не важно какую так как дублируются все страницы) на наличие этого странного слова  replytocom  и по чистой случайности  его обнаружил. Оказалось то что, наводя на любой комментарии на ссылку ответить в нижней панели моего брузера google chrome появлялась ссылка с этим странным словом. Вот вам живой пример как это выглядит при наведении:

Правда этот скриншот не моего блога, просто нашёл в сети давно заброшенный блог lifegirls.ru на котором имеется такая проблема, и  использовал  я его, чтобы показать вам наглядно имеющиеся дубли страниц.  И так обратите внимание на то что, ответив на этот комментарий, мы получим дубль страницы с номером 51, который попадёт в индекс. И вот тому  доказательства:

 

Кстати вот таким простым способом вы можете вычислить дают ли ваши древовидные комментарии дублированный контент или забив в гуле следующий запрос  site:site.ru replytocom, конечно же за место site подставить ваш домен.


Как устранить дублирование материалов replytocom?

Первым делом вам необходимо отключить древовидные комментарии на блоге. В панели администрирования зайдите Параметры -> Обсуждение и уберите галочку с древовидных комментариев как показано на скриншоте.

Не бойтесь все комментарии, которые были вложены не куда не денутся они  просто будут идти по порядку . Следующей вашей задачей будет поставить запрет на  индексирования страниц  имеющие окончания replytocom.

Для этого вам необходимо в robots.txt добавить следующие функции:

  • Disallow: /*?replytocom
  • Disallow: /*?*
  • Disallow: /*?

Чтобы убедиться, что данные страницы заблокированы, зайдите в свою панель google вебмастер, а далее Диагностика -> Ошибки сканирования  и убедитесь в том что страницы с этим окончанием заблокированы. Вот вам мой пример:

После этого в индексе поисковых систем останутся только целевые страницы вашего блога без всяких дублей, но если вы жизни не мыслите без древовидных комментариев, то на этот случай есть куча плагинов которые с лёгкостью решат вашу проблему не дублируя посты.


Ну вот и всё!  Теперь ты знаешь, как выявить и устранить у себя на блоге дублированные материалы, которые создают древовидные комментарии. О других способах дублирования контента в cms wordpress я писал вот в этой статье “Тонкая настройка плагина all in seo pack

P.S.

Если ты первый раз посетил мой блог, то я надеюсь наше с тобой общение на этом не заканчивается и мы увидимся в новых статьях моего блога, так что не забудь подписаться на обновления.  Дублирование материалов – низкие позиции

Напоследок предлагаю посмотреть вам видео как закрыть дубли в wordpress



Разработка сайта
Мы не используем платные CMS и за счет этого мы привлекаем низкой ценой клиентов. Не используем шаблоны у нас только уникальный дизайн. В подарок мы делаем SEO оптимизацию сайта и настройку контекстной рекламы.
Заказать
Продвижение сайта
Частный оптимизатор выходит гораздо дешевле web-студии. Я помогу вам вывести cайт в ТОП-3 и настроить автоматические продажи. В стоимость услуг входит аудит, техническая и seo оптимизация сайта.
Заказать
БЛОГ под КЛЮЧ
Сэкономьте годы возни на созданием и продвижением своего блога. Отдайте это дело блоггеру с пятилетним стажем. В услугу уже входит SEO оптимизация блога. В подарок вы получаете видео-курс «Мой авторитетный блог»
Заказать




36 комментариев
  1. У меня вроде всё нормально. Вебмастер гугл показывает, что такие дубли заблокированы, хотя я в файле robots.txt не прописано вроде такого)

    Ответить на комментарий →
  2. Антон Краморов 23 февраля, 2012 в 09:25

    Даниил, раз заблокировано значит всё нормально.
    Кстати расскажи как ты вывел Топ комментаторов так красиво? =)

    Ответить на комментарий →
  3. Ночной_Блоггер (Sergio) 23 февраля, 2012 в 11:17

    Интересно, не знал о таком =)
    Я не проверял, что там у меня с дублями, но на всякий случай выполнил инструкцию, спасибо =)

    Ответить на комментарий →
  4. Блогу будет три месяца, с поисковиков идут человек 10, вот сейчас тоже ищу проблемы и разбираюсь что делаю не так! Инфа полезная!!!

    Ответить на комментарий →
  5. Антон Краморов 23 февраля, 2012 в 11:41

    ValeronVoronin, основная проблема вашего блога заключаеться в том что статьи не заточены под ключевые слова, а так же не релевантны.
    Читайте мою серию статей как попасть в топ с реактивной скоростью

    Ответить на комментарий →
  6. С моим всё впорядке, а так интересно было прочитать =)

    Ответить на комментарий →
  7. Так же нашел проблему, но добавил сразу в robots.txt, комментарии оставил красивыми.

    Ответить на комментарий →
  8. Если в robots.txt закрыто, то зачем убирать древовидные комментарии?

    Ответить на комментарий →
  9. Недоблогер 25 февраля, 2012 в 06:50

    Точно такая же проблема, так и не поборол вроде. В индексе яндекса их нет, однако в гугле их под 700. Так и не нашел нормального решения проблемы, даже в Маулнете тему создавал. В общем, поставил в роботс те строки, посмотрим, что выйдет. А древовидные комменты убирать не хочется, ибо удобная вещь.

    Ответить на комментарий →
  10. Согласен с Недоблогером, мне например древовидные комменты больше нравятся.

    Ответить на комментарий →
  11. Хочу огорчить! У тебя в индексе Гугла 1200 страниц. Срочно нужно принимать меры по избавлению от дублей, robots.txt в этом деле не поможет. У меня эта проблема тоже была, теперь почти решена, но еще не полностью

    Ответить на комментарий →
  12. Согласен с Олегом, зачем отключать древовидные комментарии, если закрыты все ссылки на них в robots.txt?

    Ответить на комментарий →
  13. Антон Краморов 08 марта, 2012 в 10:46

    Это просто мой бзик) Я отключил на всякий случай

    Ответить на комментарий →
  14. Еще стоит проверить дублирование контента на страницах с www и без.

    Ответить на комментарий →
  15. Даже если они закрыты в роботс, эти страницы висят в мусорных проиндексированых страницах гугла, которые не участвуют в поиске и убрать их оттуда не получается. а убирать для того чтобы количество проиндексированых страниц яндексом и гуглом было примерно равно!!!

    Ответить на комментарий →
  16. Дмитрий 31 09 июля, 2012 в 04:49

    Не задумывался над этим вопросом. А вчера заметил, что нажимая на статью на главной странице моего сайта, после слеша появилось “#.T_r_kpFj0u4”. Нажимая снова на название страницы – символы исчезают. Тут и вспомнил, что видел на “jonyit.ru” статью про дубли страниц. Но, данная статья не решила мою проблемку. Да и рассказывет она свего лишь об одной из причин дублирования контента :(. (Лучше писать статью-обзор, как про плагины).
    Ps: Очень много орфографичевских и пунктуационных ошибок/описок. (хотя это не мешает иметь ТИц 20). Поставьте “Орфус”.

    Ответить на комментарий →
  17. Автомобиль 19 июля, 2012 в 07:38

    Даже если они закрыты в роботс, эти страницы висят в мусорных проиндексированых страницах гугла/
    Не факт!

    Ответить на комментарий →
  18. Может в дублях и есть причина , что мой бложик сидит на одном месте?
    У меня точно комментарии древовидные.Сейчас буду проверять в гуглвебмастере.
    Иду искать дубли страниц…

    Ответить на комментарий →
    • Антон Краморов 03 ноября, 2012 в 09:23

      ну вот nekopaju.ru я посмотрел не имеет дублей

      Ответить на комментарий →
      • Антон! Благодарю за внимание к моему блогу.Значит, древовидные комментарии не та уж и вредны? И на возникновение дублей не влияют?

        Ответить на комментарий →
  19. Петр Балашов 03 ноября, 2012 в 10:44

    Антон, если, конечно, возможно получить ответ на этот вопрос, был бы бесконечно благодарен, и не только я. Проверяю сайты программой внутренней перелинковки Линкоскоп, программа выдает ряд страниц с одинаковыми title. Для блога это плохо. но есть трудность в их отыскании, хоть в программе и прописаны адреса. Нет ли быстрого и эффективного решения по поиску этих страниц, особенно это важно для начинающих.

    Ответить на комментарий →
  20. Антон Краморов 03 ноября, 2012 в 10:56

    Пётр, одинаковые title можно выявить с помощью бесплатного сервиса от megaindex
    http://audit.megaindex.ru/.

    Но зачастую подобные программы типа линкоскоп,xenu,addstudio в отчётах содержат 60% откровенного бреда, который можно игнорировать [:-))] Однако всё же каждый сайт нужно рассматривать индивидуально [:–_)]

    Ответить на комментарий →
    • Петр Балашов 03 ноября, 2012 в 11:29

      Антон, я нахожу адреса этих страниц, но каким образом поступать с ними дальше.Простое механическое пролистывание и ручное удаление .Или есть другие возможности для этого. И вообще, интересно происхождение этих страниц. Не являются ли дубли результатом архивирования на автомате, или здесь иная причина. Фактически, это тоже дубли.

      Ответить на комментарий →
  21. Петр Балашов 03 ноября, 2012 в 12:47

    Антон, я в своих комментариях предлагал воспользоваться статьей о файле robots.txt и давал ссылку, а здесь у Вас и видео от Сергея Куприянова стоит на ту же тему.Вероятно, давно не были в гостях у Сергея и не изучали его новые материалы? Тем более стоит быстрее зайти и изучить новые исследования по теме ;-)

    Ответить на комментарий →
    • Антон Краморов 03 ноября, 2012 в 12:56

      Я его блог не посещал тогда, а видео в ютюбе нашёл. Мне понравилось и я решил вставить его в статью [:–_)]

      Ответить на комментарий →
  22. так как ответа про древовидные комментарии не дождалась, а количество комментариев у меня растет- решила сделать на обеих блогах древовидные комменты.
    Конечно, отвечать сразу стало легче.

    Ответить на комментарий →
  23. Приветствую, как с вашей точки зрения, имеет ли мой сайт дубли или еще есть какие-нибудь проблемы? Может быть обменяемся перекрестно ссылками?

    Ответить на комментарий →
  24. Ксения Юрьевна 04 февраля, 2013 в 05:55

    Здравствуйте мне ваша статья встретилась уже посл того, как я убрала все дубли с сайта. Я ее все равно прочла, потому что сначала с дублями помучилась месяц. Так же искала дубли и ничего путнего не находила. пока не задала вопрос о том , что такое реплитоком. Как трудно начинающим,опытные блоггеры все забыли и отвечают на непонятном нам языке. А ваша статья мне очень понятна, жаль что она мне не встретилась раньше, я бы не потеряла целый месяц. :)

    Ответить на комментарий →
  25. Антон Краморов 04 февраля, 2013 в 11:54

    Ксения Юрьевна,беда с этими дублями не миновала и меня

    Ответить на комментарий →
  26. У меня с местами в гугле все пока нормально. Что с ними делать Удалять или что?
    Говорят, что и плагины никакие не спасают [:-|]

    Ответить на комментарий →
  27. И еще, подскажите, вы зделали, как здесь Виталий советует? http://mojwp.ru/replytocom-301-htaccess.html И что у него за форма комментирования такая???

    Ответить на комментарий →
  28. Антон Краморов 16 апреля, 2013 в 01:43

    Кристина, на самом деле есть один способ как избавиться от этого, но о нем я буду рассказывать на закрытом марафоне. подробности здесь:
    http://jonyit.ru/prodaychie/marafon.html

    Ответить на комментарий →
  29. Здравствуйте, Антон! Хочу попросить у Вас совета.
    Два месяца назад блог попал под фильтр АГС. Думала, предполагала и анализировала различные причины – дубли, проблемы с доступностью хостинга Спринтхост(были проблемы на хостинге).
    Убрала древовидные комментарии – это первое, что я сделала и запрет в файле robots.txt.
    Теперь фильтр сняли – все страницы вернулись в поиск. Мне советуют для удобства – вернуть функцию древовидных комментариев – но что то побаиваюсь.
    Прочитала, что вы не хотите: “Это просто мой бзик) Я отключил на всякий случай”
    И я вот в сомнениях… :)

    Ответить на комментарий →
  30. Поисковые роботы отличают комментарии от основного текста. Лара, это навряд ли агс, его бы не сняли из-за комментов.Скорей всего из-за проблем на хостинге, сайт был не доступен, вот и выпали страницы.

    вот вы пишите – Убрала древовидные комментарии – это первое, что я сделала и запрет в файле robots.txt

    Какой запрет в роботс вы поставили?

    У вас в любом случае много лишних страниц и дублей, так как яндекс в поиск взял 52 страницы, а гугл нашел аж 654 страницы, но в поиске участвуют только 15% от них.

    Ответить на комментарий →
  31. Евгений, спасибо что ответили за Антона:))

    Вполне может быть, что хостинг.
    Я поставила запрет в файле robots.txt Disallow: *?replytocom

    Меня просто смущает, почему Антон не возвращает древовидные комментарии.

    “Это просто мой бзик) Я отключил на всякий случай” какой то призрачный ответ, а хочется конкретики.

    Хотя, понять можно. Интересно, а что же мне делать с моими 654 страницами? Я слышала мнение, что надо их вручную удалять.

    Ответить на комментарий →
  32. Проверял сайт разным софтом и обнаружил что они показывают, что у меня есть страницы site.com и site.com/index.html. также онлайн генератор сайтмапа тоже это показывает. Это дубли? как избавиться от ненужного?

    Ответить на комментарий →
Оставь свой первый комментарий и получи:
:) :-D ;-) :-| [star] [good] [present] [flower] [:-))] [:))] [:--_)] [:-|]