Недостаточно качественные страницы

Важная особенность 2020 года в Яндекс – сильное проседание сайтов из-за засилия в индексе большого числа страниц, которые являются неуникальными в рамках данного сайта.

Уникальность

⚠ Причем уникальность контента в рамках сети не играет особого значения и можно смело копировать и парсить контент с конкурентов, как это было и ранее. Многие сайты состоят из чистого парсинга.

Но вот уникальность контента внутри сайта имеет особую значимость.

И в этой небольшой статье хотелось бы разобрать проблему не уникальных внутри сайта страниц более подробно.

Причины возникновения

Причин возникновения таких страниц достаточно много, вот лишь наиболее частые из них:

• стихийное раскрытие SEO фильтра;
• побочный эффект от другого модуля;
• сквозные блоки;

Давай разберем эти пункты более подробно:

Пункт первый: SEO фильтр

Одна из типовых ситуаций – стихийное раскрытие seo фильтра – но это и так самая популярная ситуация, которую я уже многократно разбирал ранее, поэтому сегодня на этом пункте не будем останавливаться подробно.

Суть в том, когда перемножаются все страницы фильтраций со всеми, без разбора и таким образом мы получаем тысячи и тысячи страниц без семантики и с 1-2 товарами.

Как результат — на 1000 качественных страниц мы получаем 10 000 страниц низкого качества.

Пункт второй: Побочный эффект от другого модуля

А вот тут уже намного интересней 🤠

Нередко построение уникального функционала для сайта приводит к стихийной генерации тысяч страниц, о которых никто не знал. Вот лишь пара примеров из недавней практики:

Пример 1:

На сайт внедрен функционал разбивки интента по типам страниц и вычленения конструкций «запрос + отзыв». Автоматически такие страницы генерятся и наполняются и для карточек товаров и для категорий.

Сайт старый и авторитетный и таких страниц тысячи. Все они содержат под собой семантику и находятся в ТОП по большинству конструкций вида «название товара + отзыв» и «название категории + отзыв».

И все вроде бы хорошо, НО….

Произошло засилие огромным числом страниц низкого качества. При детальном изучении оказалась следующая неприятная картина:

Самописный скрипт автоматически цеплял страницу отзыва к каждой странице категорий и тут вроде бы как все ровно. Но он цеплял страницу отзыва даже к тем категориям и фильтрациям, которые были закрыты от индексации, а вот за этим никто не уследил…

И таким образом все нежелательные фильтрации (например там, где нет товаров на пересечении) были жестко закрыты от индексации, но страницы «категория + отзыв» от них генерировались и попадали в индекс.

Пример 2:

На категории сайта внедрен скрипт автонаполнения и уникализации. Сильно продвинутая версия скрипта, которая делает из множества подобных страниц с одинаковым листингом полностью уникальные страницы.

Кратко про работу самого скрипта:

Он определяет размер листинга на данный момент и при недостаточном его размере (к примеру 14 товаров из 30 возможных) добирает недостающее число товаров из связанных категорий, наряду с этим выводит дополнительный набор товаров рандомом, в зависимости от уникальности товарной выкладки на этой категории.

Говоря проще – скрипт умеет выводить необходимые товары в рандомном порядке, тем самым добавляя уникальности подобным страницам. Объединение логики работы этого скрипта и логики подмены названий товаров на категориях позволяет с легкостью уникализировать любой объем категорий, содержащих одинаковую товарную выкладку.

Но и тут оказался острый подводный камень, когда в один прекрасный день в индекс залетело 400% страниц, а затем большая часть вывалилась с пометкой недостаточно качественная.

Как оказалось – скрипт создавал промежуточные URL, в которых сохранял текущее состояние рандомной выборки, чтобы при новой перезагрузке страницы отдавать одинаковое содержимое. И все эти страницы стихийно попали в индекс и засорили его.

Пункт третий: Сквозные блоки

Сквозные блоки это меню, шапка, подвал и любой другой элемент документа, который неизменен от странице к странице.

Следует понимать, что сама страница воспринимается как комплекс, в который входит и ее меню и шапка и подвал и все скрытые слои. Причем основная контентная область страницы, где мы размещаем контент может занимать меньший объем документа, иногда это менее 10% от области, принимающей участие в ранжировании.

Это ключевой момент — перечитай абзац выше несколько раз, пока не поймешь его глубинную суть!

Что автоматически сделает соседние страницы (которые вроде как уникальны) на 90% и более похожими друг на друга. Что в свою очередь повлечет массовое выпадение страниц из индекса с пометкой недостаточно качественная. Что при превышении критической массы потянет за собой весь сайт.

Причем нам (в рамках закрытого сообщества) довелось достаточно много общаться непосредственно с поддержкой Яндекс на эту тему и как итог даже получить осмысленные ответы, а не отсылки к справке. Как итог этих ответов – поддержка Яндекс собственноручно обратила внимание на сквозные блоки и сказала о необходимости их перепроектирования или сокрытия от индексации.

Про то, что документ необходимо воспринимать как комплекс я уже писал ранее и теперь даже поддержка Яндекс официально говорит то же самое!

Таким образом, мы должны постоянно смотреть отчеты в Яндекс Вебмастере по исключенным страницам и самое пристальное внимание уделять недостаточно качественным. Выгружать их все и анализировать, почему именно они были признаны страницами низкого качества. Далее, поняв в чем дело — вносить необходимые правки в шаблон.

Для молодых сайтов в 2020 году это становится настоящим бичом, потому как старт молодого сайта, переполненного такими страницами неизбежно портит карму домена и в этом случае, после исправления всех недостаточно качественных страниц намного проще и быстрее заново стартануть на новом домене, так мы выиграем минимум 3-4 месяца.