Загрузка...Для контроля алгоритма поиска была создана своеобразная инструкция, названная robots.txt, упорядочивающая поведение роботов ПС. Одной из ее задач является запрет индексации выделенных областей ресурса.
Краткое описание
В девяностых, оптимизаторы испытывали затруднения в продвижении ресурсов, из-за начавшегося бума поисковых сервисов. Без определенных правил, поисковики, индексируя сайты, производили обработку всех без исключения страниц веб-проектов, что негативно влияло на выдачу. Поэтому встал вопрос о создании специального инструмента, позволяющего определять поисковым роботам, что им разрешено индексировать. Все перипетии закончились, когда разработчики ПС договорились о создании robots.txt, средства, позволяющего прописывать рабочие файлы по единому стандарту. Теперь при посещении ресурса ПС изначально обращается к robots.txt, где находятся все необходимые атрибуты, запрещающие или разрешающие поисковику выполнять определенные действия с ресурсом или с его страницами.
Оставь свой комментарий о статье