Успей получить мощнейшую SEO технику в 2024 году бесплатно. Получить

6.09.2016

12 453

0

Рейтинг статьи:
Одна звездаДве звездыТри звездыЧетыре звездыПять звезд (2 оценок, среднее: 4,50 из 5)
Загрузка...

Проблемы с индексацией: основные виды лишних страниц в индексе, причины и пути решения

Содержание
Нужна помощь в продвижении сайта?

Попробуй изучить SEO самостоятельно. Переходи по ссылке и получи бесплатный цикл из четырёх уроков "ВЕКТОР SEO" (ссылка работает через Telegram-бота).

Всем привет! Давно не писал в блог, причиной тому является завершающий этап разработки сайта студии. Совсем скоро он будет доделан и я его всем покажу ;) Но вернемся к теме нашего разговора, а он очень важен. Сегодня мы поговорим о мусорных страницах в индексе. Мусор сильно препятствует активному росту позиций и посещаемости сайта, что особенно актуально для старых сайтов, которые давно продвигаются. Сразу скажу, что в таких случаях чистка мусора и доведение индексации до идеала само по себе позволяет увеличить посещаемость. Иногда на 20%, иногда в несколько раз, но в любом случае результат всегда очень и очень значительный. Вот вам живой пример.

Еще один интересный случай — тысячи мусорных страниц после XSS атак, с которыми сталкиваются многие и даже один из моих сайтов недавно попал под атаку. Особенно примечательно тут, что даже после детальной чистки Яндекс может держать такие страницы в индексе месяцами, а Гугл годами и это становится серьезнейшей проблемой при продвижении.

Сегодня мы в подробностях разберем причины возникновения мусора и дисбаланса в индексации, а так же поговорим о путях решения этих проблем!

 

Чем грозят проблемы с индексацией сайта

Наиболее подвержены появлению лишних страниц в индексе именно интернет магазины и зачастую число ненужных страниц значительно превышает число уникальных и полезных, ввиду чего сайт в глазах поисковой системы является откровенной помойкой и ни о каком росте посещаемости тут и говорить не приходится и не важно, какие качественные ссылки вы покупаете, какой дополнительный маркетинг проводите — сайт не будет расти по сео, пока вы не наведете порядок.

Так же стоит  заметить еще один важнейший аспект — плавность индексации, когда число страниц в индексе Яндекс и Гугл имеют близкие значения (стоит отметить тот факт, что данный параметр является очень важным и при выборе донора для размещения внешних ссылок). Наиболее частая картина, когда в Яндекс все замечательно, а вот Гугл наелся мусора до отвала  и причина не ясна, ведь все вроде бы закрыто в роботс. Но проблема тут именно в самом роботс для Гугла. Данный вопрос я поднимал в статье.

На данном этапе важно понять — если у сайта есть проблемы с индексацией — его продвижение крайне затруднено и требует повышенных бюджетов!

Находим лишние страницы в индексе

Прежде всего необходимо определить сколько же у сайта реально существует страниц. Для этого необходимо использовать выгрузку сайта при помощи Xenu.

После того, как мы примерно представляем реальное число страниц сайта — необходимо обратиться к поисковой выдаче Яндекс и Гугл, чтобы увидеть число страниц в индексе (ВАЖНО: не стоит смотреть индексацию в Яндекс Вебмастер — он всегда пишет не актуальное значение). Только непосредственные запросы к поисковой системе!

Для Яндекс:

url:www.домен/* | url:домен/* | url:домен | url:www.домен

Для Гугл:

site:домен

Теперь мы знаем 3 основных показателя:

  • Реальное число страниц сайта
  • Число страниц сайта в Яндексе Гугл
  • Число страниц сайта в индексе Яндекс

На базе этого можно увидеть следующие сюжеты:

 

  • Реальное число страниц больше, чем число страниц в индексе Яндекс и Google

Самая безобидная ситуация, на основе которой можно сделать 2 вывода — сайт еще не был полностью проиндексирован (скорее всего именно так и произошло). Либо же индексацию сайта сильно затрудняет неправильная структура, что все-таки маловероятно. Данная проблема легко лечится добавлением сайтмап html.

Возможны частные случаи в виде бана поисковыми системами, либо ошибках в переадресации, что будет обусловлено стабильным выпадением страниц из индекса и далее. Такие случаи очень редки.

  • Реальное число страниц примерно равно числу страниц в Яндекс, но в Гугл страниц намного больше

Классическая ситуация, когда вебмастер все сделал вроде бы и правильно, но не учел, что Гугл не смотрит на robots. Все директивы, прописанные в роботс необходимо заменить тегами, запрещающими индексацию вроде meta robots, canonical и т.д.

Частный случай — наличие на хостинге группы страниц на которые не ведет ни одна внутренняя ссылка с сайта. То-есть не подразумевалось вообще, что эти страницы должны индексироваться, но google умеет и такое ;)

  •  Реальное число страниц меньше, чем в индексе обоих поисковиков. Число страниц в Яндекс примерно равно числу страниц в Google

Очень простая ситуация, которая, как правило, актуальна именно для интернет магазинов и обусловлена отсутствием canonical. В индекс попадают страницы сортировок, пагинаций, печати.

  • Реальное число страниц меньше, чем в индексе обоих поисковиков. В Google страниц больше, чем в Яндекс

Вполне стандартная ситуация, которая как правило обусловлена неправильным закрытием технических страниц и страниц сортировок плюс все из прошлого пункта.

  • Реальное число страниц меньше, чем в индексе обоих поисковиков. В Яндекс страниц больше, чем в Гугл

Сложная ситуация — необходимо детально изучать проблему!

 

На данном этапе картина начинает проясняться и мы уже можем делать предварительные выводы и прогнозировать необходимые действия. Главной задачей следующего этапа становится непосредственное обнаружение основных источников мусора.

 

Копаем глубже

Самое главное теперь понять, откуда именно взялись лишние страницы. А именно найти причину насыщения индекса мусором. Для этого используем команды из главы Находим мусор, только вместо домен вбиваем каждый раз адреса категорий сайта. Результатом этой долгой и кропотливой работы станет обнаружение именно тех разделов, которые имеют больше всего лишних страниц в индексе.

Так же не лишним будет вручную полистать выдачу поисковой системы — иногда именно так проще всего обнаружить мусор.

Особую сложность представляют последствия XSS атак, т.к. мусор, возникший таким образом зачастую не имеет внутренних ссылок, ввиду чего невозможно обнаружение таких страниц путем выгрузки Xenu. В данном случае нам может помочь раздел Индексация в панели Вебмастера Яндекс и Гугл, где поисковая система строит структуру взаимосвязей внутри сайта.

Резюмируя стоит выделить 3 основных инструмента:

  1. ручная проверка выдачи
  2. проверка индексации по категориям сайта
  3. раздел Индексация в панели вебмастера Яндекс и Гугл

Далее остается только подчистить мусор и ждать ;)

Выбираем метлу

Самое сложное позади. Теперь мы знаем откуда взялся мусор и чем он вызван. Следующим шагом необходимо выбрать правильный инструмент очистки. Бесспорно, лучшим инструментом является физическое отключение мусорных страниц, но это не всегда возможно, ведь зачастую такие страницы действительно нужны, например пагинация или фильтры у интернет магазина. Если страницы невозможно физически убрать — необходимо дать роботу запрет на индексацию таких станиц, но тут и речи не может быть о robots txt  — данный файл крайне малоэффективен. Самая сильная директива, которой одинаково покорны и Яндекс и Google это тег meta robots, который прописывается в контейнере HEAD. Внутри этого тега мы можем полностью запретить индексацию мусорных страниц.

В некоторых случаях стоит использовать canonical, который актуален во всех случаях пагинаций и сортировок. Суть каноникла — мы указываем материнскую страницу для всех дочерних, в случае с пагинацией это первая страница раздела. В итоге робот будет четко понимать что представляют из себя такие страницы и уберет их из индекса.

Ускоряем переиндексацию

Причины возникновения мусора мы убрали, но поисковые системы об этом пока не знают. И без нашей помощи могут узнать только через несколько месяцев, а в случае с google данная процедура может растянуться на пол года и более. Но мы можем помочь поисковой системе, использовав следующие советы:

  1. детально настроить страницу 404 ошибки. Если мусор был удален физически и старых страниц больше не существует — при обращении к ним должна отдаваться корректная страница 404 ошибки
  2. добавить сайтмап html и xml. Оба сайтмапа должны быть автоматическими
  3. поставить на категории сайта несколько трастовых ссылок, которые будет приносить трафик  — таким образом робот будет заходить чаще и увидит, что структура сайта была изменена
  4. можно купить на закрытые страницы ссылок в SAPE ;) Ну это скорее шутка
  5. временная подклейка домена

 

О подклейке мы поговорим чуть подробнее:

Закажите у меня создание интернет-магазина, который идеально заточен под сео

Узнать подробнее

Подклейка домена, как серьезный аргумент

Даже правильно настроенные запреты на индексацию совсем не означают то что поисковики быстро приведут индексацию вашего сайта в порядок. Иногда этот процесс может занимать долгие месяцы. А если у вашего сайта реальных страниц не более 100, а в индексе тысячи страниц, как например после XSS атаки — нет смысла терять потенциальный трафик и ждать несколько месяцев. Намного эффективнее будет использовать методику подклейки домена.

Для этого необходимо купить новый домен и перенести на него сайт, а прошлый домен постранично подклеить. При таком подходе в течении месяца домены будут склеены, а если главным зеркалом указан новый домен — старый полностью выпадет из индекса. После этого можно провести обратную процедуру и наслаждаться чистым индексом без мусора

Заключение

В заключении хотелось бы сказать, что чистый , равномерный индекс — залог успешного сео продвижения. Правильная индексация показывает поисковым системам, что сайт как минимум качественный. И помните недоиндексация сайта это еще не страшно, а вот переиндексация… Переиндексация это очень серьезная проблема.

Получи мощнейшую
SEO технику в 2024
бесплатно

Получить технику

Оставь свой комментарий о статье

Отправляя свои данные через эту форму, я соглашаюсь с политикой обработки персональных данных

Видео

Исключительно для моих подписчиков доступен бесплатный мини-курс на основе SEO подходов эффективных в 2024 году

НАЖИМАЙ НА КНОПКУ НИЖЕ И ПОПАДЁШЬ В TELEGRAM-БОТА КОТОРЫЙ ВЫДАСТ ТЕБЕ УРОКИ
ПОДПИШИСЬ НА СВЕЖИЕ SEO СТАТЬИ

Отправляя данную форму, я соглашаюсь с политикой обработки персональных данных