Подпишись на свежие статьи!
С нами уже: 3120 человек
N/A
Подписывайся
2
Март

Комментарии: 7

Просмотры: 1 043

Роботс и Гугл

Роботс и ГуглХотел бы сделать особый акцент на отношении Гугл к классическому robots txt. Особую актуальность данная информация принимает ввиду того, что очень далеко не все знают как же на самом деле Гугл относится к роботс, а ведь засорение индекса лишними страницами губительно сказывается на SEO и это ни для кого не секрет. Про борьбу с дублями и лишними страницами в индексе я постоянно пишу в рамках данного блога, но сегодня будет освещена именно тема того, как спрятать от Гугла нежелательные для индексации страницы, ведь он, падла такая, даже и смотреть не хочет на содержимое стандартного тега роботс. И многие из вас уже могли замечать данный факт! Вроде бы все нежелательные страницы закрыты, но Гугл их все равно индексирует. Да уж, за Гугл есть такое грешок, более того, иногда, видимо от скуки он может просто пройтись по содержимому вашей папки на сервере и найти там такое… О чем вы и сами могли не знать;)

Ведь контент — пища для поисковых систем. Не будет контента,  не будет и поисковиков, а Гугл, как мне кажется, вечно голоден.

 

Robots txt для Гугл

 

Итак, вопрос — как же Гугл относится к файлу Robots txt? Да никак он к нему не относится! Есть он , нет его — без разницы совершенно — слушать его данный поисковик не собирается и точка!

Думаю, многие из вас уже неоднократно замечали, что у сайта вроде бы правильно настроен роботс и в индексе Яндекс только нужные страницы, а вот в индексе Гугл все подряд. Стоит сказать, что данную картину я наблюдаю у 70% сайтов. Так вот, все дело именно в отношении поисковика к данной Директиве.

 

Как же все-таки прятать страницы от Гугл

 

Но закрывать страницы от индексации надо и это неоспоримый факт. Ниже приведу способы закрытия страниц от Гугл:

 

  1. Canonical для страниц сортировок и пагинаций
  2. meta Robots для закрытия отдельно взятых страниц
  3. X-Robots tag для закрытия на уровне http запроса
  4. Через панель вебмастеров Гугл

 

Без излишнего усложнения ситуации скажу, что лучше всего использовать мета тег Robots как для Яндекс, так и для Гугл и связано это именно с работой индексатора поисковой системы. В классическом виде — робот вначале индексирует страницу (Яндекс), а только потом смотрит в robots txt и если данная страница там присутствует, то выкидывает ее из индекса, но все это растягивается во времени. Тоесть не нужная вам страница может некоторое время находиться в выдаче как Яндекс, так и Гугл. При наличии же мета тега — во время обхода страницы поисковику сразу будет дан явный сигнал о том, что индексировать ее не надо!

 

Узнайте о преимуществах продвижения сайтов у меня

Узнать подробнее

Заключение

 

Пост получился совсем небольшим, зато тут я наглядно разобрал очень насущную проблему, ведь все мы знаем, что засорение индекса поисковой системы дублями и нежелательными страницами неизбежно приводит к ухудшению ранжирования сайта. Более того — использование мета роботс оправдано и для Яндекс.

Маркин Антон
и проект
MarkinTalk.Ru

Предлагают подписаться на обновление и вместе с этим Вы получите:

  • 1. Регулярные обновления
  • 2. Сочные материалы
  • 3. Прямо на e-mail
Подпишись на новые статьи блога!
Чтобы привлекать на свой сайт самый дешевый трафик
Никакого спама! Только самый СМАК!
Автор: Александр

Комментарий: Я пока что в этом ничего не понимаю, ну буду разбираться. Спасибо за статью. Теперь буду знать, что гугл файл роботс особо не празднует. =-O

Автор: Олег

Комментарий: закрыл от гугля в .htaccess доступ к папкам где нет файла index. Теперь гугл пишет мне ошибку "На сайте стало значительно больше URL, к которым нет свободного доступа. Они переадресуют на страницу ввода учетных данных или возвращают код 403 (доступ запрещен)." Что можно сделать?

Автор: orochimaru6

Комментарий: Ну просто страницы ранее попали в индекс, а теперь Гугл при попытке запроса к ним получает отказ - вот и ошибки. Если все так, как описал я, то ничего страшного в этом нет и в скором времени страницы отвалятся из индекса, а ошибки пропадут!

Автор: Олег

Комментарий: а как они в индекс попали если такого вида sait.ru/papaka/ страниц не существует

Автор: Олег

Комментарий: Запрещающие директивы в robots.txt Гуглу до лампочки и он может индексировать закрытые страницы, зато требует явно открыть для индексации скрипты и стили. Типа тут его эти запреты останавливают)

Автор: Ирина

Комментарий: Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

Автор: avtomix56.RU

Комментарий: Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

Отправьте комментарий:

Добро пожаловать на Markintalk

На страницах моего блога вы найдете множество актуальной информации о современных методах продвижения сайта. Вся информация проверена на множестве реальных проектов и доказала свою эффективность.

Периодически я тестирую различные гипотезы, позволяющие улучшить мои методики раскрутки коммерческих сайтов – подписавшись на блог вы всегда будете в курсе наиболее эффективных методов современногоSEO.

В основе моих методик лежат белые методы продвижения, работа с огромными низкоконкурентными семантиками, улучшение технического состояния сайта и текстовая оптимизация. Как я повсеместно пишу на страницах этого блога - 3 с–она современного сео: качественный сайт, объемная низкоконкурентная семантика и правильные статьи.

Чем сео блог Markintalkможет вам помочь?

Я принципиально не распыляюсь на мусорные темы вида заработка на партнерках, трейдинга, заработка на ссылках, инфопродуктах и прочего информационного шума, чем грешат многие блогеры современности. На Markintalkвсе четко и по делу – продвижение сайтов и больше ничего лишнего. Так что если вам, так или иначе, интересна тема получения дешевого трафика из поисковых систем – вы попали по адресу!

Читайте также

Как раскрутить лендинг. Пошаговое руководство

Сегодня я подготовил очень интересный материал. Работая над этим постом мне хотелось в одном месте собрать...

Подробнее

Создаем семантическое ядро сайта по шагам

Создание сем групп — достаточно избитая тема, не так ли? Но, если взглянуть на проблему более...

Подробнее

Как раскрутить интернет-магазин. Пошаговое руководство

В данной статье хотелось бы максимально подробно осветить такую популярную тему...

Подробнее

Как раскрутить молодой сайт в Яндексе

Существуют такие сайты, для которых в рамках своей тематики можно без труда продвинуть запрос...

Подробнее

У
С
Л
У
Г
И

Не ждите!
Закажите продвижение сайта прямо сейчас!

Ознакомиться