Зеркальщик – склейщик дублей

Для поиска в сети зеркал (копий) веб-проектов, чтобы вывести из выдачи дубли, находящиеся по иному адресу, методом их склеивания, ПС стали применять специальный алгоритм названный – зеркальщик.

Краткое описание

О том, зачем необходимо зеркало мы уже писали, теперь речь о том, что предпринимает зеркальщик при обнаружении дублей. Наличие копий в базе данных поисковиков существенно загружает их аппаратные возможности, из-за этого падает скорость ранжирования. Использование робота-зеркальщика позволяет найти ресурсы, содержащие одинаковую информацию и выбрать из них площадку, которую он и назначает главной, а остальные копии исключаются из индекса. Такой процесс называется – склейкой и занимает он существенный период времени, до 12 недель. Алгоритм определения базового зеркала неизвестен, что зачастую приводит к путанице, когда главным оказывается не тот ресурс, на который сделал ставку веб-мастер. Поэтому чтобы избежать недоразумений с Yandex разработчику следует:

• Произвести настройку основного зеркала в файле robots.txt прописав директиву host.

• Дать указание ПС, какая из площадок подлежит индексации.

Для прочих поисковиков, чтобы определить главенство, вполне хватит внесения изменений в 301-й редирект.