2.03.2016

Роботс и Гугл

2 009

7

Рейтинг статьи:
Одна звездаДве звездыТри звездыЧетыре звездыПять звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...

Время чтения:

Нет времени читать статью? Но вам требуется продвижение сайта или создание сайта-лидера, идеального для SEO? Тогда вы можете оставить заявку на продвижение или заявку на создание сайта. Если вы собираетесь продвигать сайт самостоятельно — продолжайте чтение!

Роботс и ГуглХотел бы сделать особый акцент на отношении Гугл к классическому robots txt. Особую актуальность данная информация принимает ввиду того, что очень далеко не все знают как же на самом деле Гугл относится к роботс, а ведь засорение индекса лишними страницами губительно сказывается на SEO и это ни для кого не секрет. Про борьбу с дублями и лишними страницами в индексе я постоянно пишу в рамках данного блога, но сегодня будет освещена именно тема того, как спрятать от Гугла нежелательные для индексации страницы, ведь он, падла такая, даже и смотреть не хочет на содержимое стандартного тега роботс. И многие из вас уже могли замечать данный факт! Вроде бы все нежелательные страницы закрыты, но Гугл их все равно индексирует. Да уж, за Гугл есть такое грешок, более того, иногда, видимо от скуки он может просто пройтись по содержимому вашей папки на сервере и найти там такое… О чем вы и сами могли не знать;)

Ведь контент — пища для поисковых систем. Не будет контента,  не будет и поисковиков, а Гугл, как мне кажется, вечно голоден.

 

Robots txt для Гугл

 

Итак, вопрос — как же Гугл относится к файлу Robots txt? Да никак он к нему не относится! Есть он , нет его — без разницы совершенно — слушать его данный поисковик не собирается и точка!

Думаю, многие из вас уже неоднократно замечали, что у сайта вроде бы правильно настроен роботс и в индексе Яндекс только нужные страницы, а вот в индексе Гугл все подряд. Стоит сказать, что данную картину я наблюдаю у 70% сайтов. Так вот, все дело именно в отношении поисковика к данной Директиве.

Читайте также:  Продвижение по ВЧ запросам в 2017 году — актуально ли?

 

Как же все-таки прятать страницы от Гугл

 

Но закрывать страницы от индексации надо и это неоспоримый факт. Ниже приведу способы закрытия страниц от Гугл:

 

  1. Canonical для страниц сортировок и пагинаций
  2. meta Robots для закрытия отдельно взятых страниц
  3. X-Robots tag для закрытия на уровне http запроса
  4. Через панель вебмастеров Гугл

 

Без излишнего усложнения ситуации скажу, что лучше всего использовать мета тег Robots как для Яндекс, так и для Гугл и связано это именно с работой индексатора поисковой системы. В классическом виде — робот вначале индексирует страницу (Яндекс), а только потом смотрит в robots txt и если данная страница там присутствует, то выкидывает ее из индекса, но все это растягивается во времени. Тоесть не нужная вам страница может некоторое время находиться в выдаче как Яндекс, так и Гугл. При наличии же мета тега — во время обхода страницы поисковику сразу будет дан явный сигнал о том, что индексировать ее не надо!

 

Узнайте о преимуществах продвижения сайтов у меня

Узнать подробнее

Заключение

 

Пост получился совсем небольшим, зато тут я наглядно разобрал очень насущную проблему, ведь все мы знаем, что засорение индекса поисковой системы дублями и нежелательными страницами неизбежно приводит к ухудшению ранжирования сайта. Более того — использование мета роботс оправдано и для Яндекс.

Руководство по продвижению сайта seo текстами
Хочешь получить руководство?

Отправляя данную форму, я соглашаюсь с
политикой обработки персональных данных

Комментарии к записи:


Автор: Александр

Комментарий: Я пока что в этом ничего не понимаю, ну буду разбираться. Спасибо за статью. Теперь буду знать, что гугл файл роботс особо не празднует. =-O

Автор: Олег

Комментарий: закрыл от гугля в .htaccess доступ к папкам где нет файла index. Теперь гугл пишет мне ошибку "На сайте стало значительно больше URL, к которым нет свободного доступа. Они переадресуют на страницу ввода учетных данных или возвращают код 403 (доступ запрещен)." Что можно сделать?

Автор: orochimaru6

Комментарий: Ну просто страницы ранее попали в индекс, а теперь Гугл при попытке запроса к ним получает отказ - вот и ошибки. Если все так, как описал я, то ничего страшного в этом нет и в скором времени страницы отвалятся из индекса, а ошибки пропадут!

Автор: Олег

Комментарий: а как они в индекс попали если такого вида sait.ru/papaka/ страниц не существует

Автор: Олег

Комментарий: Запрещающие директивы в robots.txt Гуглу до лампочки и он может индексировать закрытые страницы, зато требует явно открыть для индексации скрипты и стили. Типа тут его эти запреты останавливают)

Автор: Ирина

Комментарий: Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

Автор: avtomix56.RU

Комментарий: Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

Отправьте комментарий:

Отправляя свои данные через эту форму, я соглашаюсь с политикой обработки персональных данных