Загрузка...Программа, являющаяся основным элементом ПС, используемая для поиска, сбора и занесения в базу (индекс) новых и прошедших апдейт страниц и веб-проектов была названа разработчиками – поисковый робот (webspider, бот, краулер, паук).
Особенности
Являясь программным продуктом браузерного типа, бот непрерывно сканирует интернет-пространство, обследуя уже занесенные в индекс ресурсы на предмет обновлений, делая переходы по имеющимся на их страницах ссылкам, ведущим на вновь созданные площадки. Отыскав неизвестный веб-проект краулер, после проведения определенных процедур, добавляет его в базу ПС. Ресурсам, на которых отсутствуют внешние ссылки, для индексации, следует заявить о себе, добавив информацию в специальную форму поисковиков, например, центр или панель вебмастера. Иначе бот будет обходить их вниманием, что чревато отсутствием сведений о них в поисковой выдаче.
В работе поисковиков задействовано несколько видов пауков настроенных на поиск и индексацию разнообразных параметров, от картинок и зеркал, до фавиконов.
Оставь свой комментарий о статье