4
Сентябрь

Комментарии: 40

Просмотры: 23 464

Пример технического аудита сайта

Добрый день, дорогие друзья! Сегодня мы научимся проводить детальный технический аудит сайта на примере. Технический аудит подразумевает оценку сайта именно с технической стороны (поиск и исправление битых ссылок, поиск и удаление одинаковых тайтлов, страниц с большим временем отдачи и многое другое). Технический аудит — не менее важный этап, чем составление семантического ядра.

 

Пример технического аудита сайта

 

Во время продвижения сайта порой могут возникать досадные трудности, такие как вылетание страниц из индекса, неправильное определение поисковыми машинами релевантной страницы, наложение фильтров и многое другое. Чтобы минимизировать возможности возникновения таких проблем, необходимо основательно подготовиться к продвижению сайта еще на самых ранних этапах. Очень важен правильный технический аудит сайта. Данное мероприятие необходимо проводить перед продвижением любого сайта. Сегодня мы вместе с вами проведем подробный технический аудит одного из моих сайтов — EltisBOOK.

 

Технический аудит сайта: подготовительный этап

 

Для начала, давайте определимся с тем, что же нам понадобится для проведения аудита. А понадобятся нам всего 3 вещи:

 

  1. сам сайт
  2. программа Xenu (абсолютно бесплатная)
  3. Exel

 

Вот и все. Скачать программу xenu вы можете с моего блога по ссылке. Стоит сразу предупредить, что технический аудит сайта — невероятно важное мероприятие, поэтому вам придется быть очень внимательными во избежание возможности упустить важные технические моменты.

 

Внимание — Акция!

 

Подробности по ссылке

 

 

Технический аудит сайта: начальный этап

 

Сегодня мы сделаем технический аудит сайта на примерах. Первым делом, запускаем программу xenu и переходим во вкладку Options — > Preferences, где устанавливаем количество параллельных потоков равное 2м (parallel Threads), как это показано на изображении:

 

Одновременные потоки

 

Далее переходим во вкладку File -> Check URL… и вводим адрес проверяемого сайта в соответствующее поле, как это показано на скриншоте:

 

 

Адрес проверяемого сайта

 

Нажимаем OK и ждем. Время проверки будет зависеть только от самого сайта и количества страниц. Как правило, проверка занимает от 10-ти минут до нескольких часов. Процесс достаточно затяжной, но ничего страшного… Программа работает аналогично пауку поисковых систем — ищет все возможные документы и связи между ними. После завершения работы мы получаем достаточно подробный отчет, откуда совсем несложно идентифицировать битые ссылки, несуществующие документы и многое другое.

Итак, моя проверка уже прошла и было обнаружено около  200 неправильных переходов:

 

Битые ссылки 1

 

Ну тут  все просто:

 

  1. Банально недоступный раздел сайта. Ссылка с  Miralinks, поэтому оставим 😉
  2. Нет связи с сервером. Тоже все просто.
  3. Неверная ссылка
  4. Неверное построение URL. Сайт работает без CMS, создавался на голом PHP. Проблема в построении ссылок в дримвивере. Исправляется за 2 минуты.
  5. Аналогично пункту 4

 

 

Битые ссылки 2

 

 

6. Таже самая проблема дримвивера. Необходимо просто указать абсолютные адреса.

7. Аналогично

8. Мой косяк. При вставке не убрал один слэш 😉

 

Все ошибки во внутренних ссылках, которые вы видите выше я исправил примерно за 20 минут. Идем дальше. Если смореть по списку ниже, то мы обнаружим список неисправных переходов, отсортированных по названию страницы. В этом списке я обнаружил один неверный переход. Все дело было в том, что в названии страницы был указан иной URL, нежели в самих ссылках, исправил за 10 сек. Далее программа выдает нам полностью готовый сайтмап:

 

карта сайта

 

Использовать эту карту сайта вы можете по своему усмотрению.

Разобраться в отчете совсем не сложно, а мы разобрали основные аспекты. Переходим к более важным вещам.

 

Технический аудит сайта пример

 

Теперь нам необходимо вытащить табличный отчет из программы xenu.  Для этого нажимаем  File -> Export to TAB separated file…

Называем его как хотим и выводим в формате txt. Открываем этот файл в Exel и в первом появившемся окне выбираем кодировку 1251, как на скриншоте:

 

Кодировка 1251

 

Затем все время нажимаем далее, пока не появится надпись готово, на которую мы и жмем.

Перед нами появляется следующая картина. Подсвеченные поля удаляем:

 

Таблица Exel

 

Говоря проще, удаляем поля Status-Code, Date, Server, Duration и Charset. Сдвигаем ячейки таблицы в образовавшиеся пустоты и наша таблица принимает прилежный и наглядный вид.

Вся последующая работа состоит из нескольких этапов:

 

  1. отсеиваете все страницы по статусу и выясняете причины возникновения ошибочных статусов
  2. отсеиваете страницы по весу и стараетесь избавиться от файлов, имеющих очень большой вес
  3. отсеиваете страницы по Title и ищите одинаковые
  4. Отсеиваете страницы по уровню вложенности и выясняете причину высоких уровней (4 и более), по возможности стараетесь от них избавиться
  5. отсеиваете страницы по количеству исходящих ссылок. По возможносте стараетесь избежать чисел, превышающих 200 — 300

и т.д.

Следующим шагом мы попробуем идентифицировать некоторые проблемы сайта.

 

Проверяем ипроиндексированность сайта

 

На данном этапе мы попробуем определить проблемы с проиндексированностью страниц нашего сайта. Для начала, определим реальное количество страниц нашего сайта. Для этого, сортируем всю таблицу Exel по названию страниц. Когда страницы отсортировались, выделяем только страницы нашего домена и копируем 3 поля: Address, Status-Text и Type, в новую таблицу:

 

новая таблица

 

Отсортируем полученные результат по типу документа (третий столбец). И скопируем документы с типом text/html в новую таблицу. Все! Теперь мы знаем реальное число страниц проверяемого сайта. В моем случае, это число равно 307. Теперь, давайте проверим, сколько же страниц находится в индексе ПС:

 

Яндекс:

В поле поиска вводим оператор — site:www.eltisbook.ru

Вместо www.eltisbook.ru  вставите адрес своего сайта. По версии Яндекса, у моего сайта в индексе 258 страниц — хороший результат.

Гугл:

В поле поиска вводим оператор — site:www.eltisbook.ru

Вместо www.eltisbook.ru  вставите адрес своего сайта. По версии гугл, у моего сайта в индексе 309 страниц — хороший результат.

 

А теперь, давайте рассмотрим возможные ситуации, которые могут возникнуть при проверке проиндексированных страниц:

 

  • В индексе ПС страниц больше, чем на самом деле (порой это число может быть в 10-ки раз больше, чем реальное число страниц) — самый худший вариант, которые говорит о том, что некоторые страницы ушли в дубль, что скорее всего, привело к санкциям ПС. Исправление данной ситуации достаточно долгое и проблемное занятие. Для начала, необходимо определить, какие именно страницы ушли в дубль. Для этого необходимо разбить сайт на кластеры по разделам, например раздел создание сайта, продвижение сайта и т.д. и еще раз провести проверку, но только внутри каждого отдельного кластера. Выглядеть это будет следующим образом:Я: www.eltisbook.ru/sait/
    Г: www.eltisbook.ru/sait/Обе ПС нашли по 14 страниц в заданном разделе. Реальное же число страниц в заданном разделе тоже составляет 14. Тоесть все отлично. Неспеша, постепенно, вы определите тот кластер, страницы которого ушли в дубль. Для интернет-магазинов это чаще всего бывают страницы товаров, категорий и страницы корзины. После того, как вы определите кластер, страницы которого ушли в дубль, необходимо закрыть их от индексации в роботс. Закрывать в роботс необходимо по маске.
  • В индексе ПС объем страниц равен реальному числу. Идеальная ситуация, которая встречается крайне редко.
  • В индексе ПС страниц меньше, чем их есть на самом деле. Если разница превышает 100% то это уже серьезные проблемы с индексацией сайта. Если разница не превышает 10%, то в принципе, не о чем беспокоиться, хотя можно просто добавить страницы, которые не в индексе в аддурилку и создать подробный сайтмап. Ну а если разница между реальным и проиндексированным числом страниц очень велика, то это скорее всего фильтры, наложенные поисковыми системами. Например, ПС может накладывать фильтр на страницы с одинаковым Title. Возможно, ваша проблема именно в этом?

 

Думаю, что руководство было достаточно подробным. Чтобы не пропустить ни одной новой статьи, просто получайте их на почту. Если некоторые аспекты данного руководства показались вам не совсем понятными — задавайте свои вопросы в комментариях.

В статье раскрутка интернет магазинов дана дополнительная информация по технической информации. Советую к прочтению!

 

Маркин Антон
и проект
MarkinTalk.Ru

Предлагают подписаться на обновление и вместе с этим Вы получите:

  • 1. Регулярные обновления
  • 2. Сочные материалы
  • 3. Прямо на e-mail
Поделись с друзьями!
А лучше подпишись на обновления!
Никакого спама! Только самый СМАК!
Автор:Дмитрий

Комментарий: Спасибо, отличная программа xenu и цены бы ей не было, выдавай она более визуально понятные отчеты. А то приходится себя чуть ли не палкой заставлять копаться во всей этой куче данных.

Автор:orochimaru6

Комментарий: Возьмите палку побольше и все у вас получится :-D

Автор:seoeffector

Комментарий: Просто отлично, про такую прогу впервые слышу но благодаря этому посту, уже знаю что к чему. Спасибо.

Автор:orochimaru6

Комментарий: Согласен, прога просто замечательная!

Автор:Alex

Комментарий: прога 100% полезная буду искать и разбираться с ней

Автор:Чайник

Комментарий: не все так просто для меня, попробую разобраться, спасибо за ваш труд!

Автор:orochimaru6

Комментарий: На самом деле - ничего сложного тут нет, главное взять палку побольше (первый комментарий :-D ) и все получится!

Автор:Елена

Комментарий: Программа очень интересная и полезная. А автор - просто молодец, что так подробненько на примере все рассказал. Огромное спасибо!

Автор:orochimaru6

Комментарий: Всегда рад помочь.

Автор:orochimaru6

Комментарий: Интересен тот факт, что программа очень стара и совершенно бесплатна, но о ней мало кто знает!

Автор:Тупой

Комментарий: мега прога

Автор:Миха

Комментарий: Про прогу ничего раньше не слышал, но давно искал нечто подобное. Теперь дело за малым - разобраться и использовать!

Автор:Владимир

Комментарий: А не лучше ли сейчас, дублированные страницы помещать в rel="canonical"? =)

Автор:чайничек

Комментарий: Нравится Ваш блог, перечитываю , потому что процентов на 50 не все понимаю, но очень стараюсь =) За программку отдельное спасибо

Автор:Олег

Комментарий: Антон,если можно ,для полных чайников,сделай пошаговую расшифровку.Если честно, Xenu запустил, ошибки прога мои показала и приплыли.Как конкретно исправлять эти ошибки и где?

Автор:orochimaru6

Комментарий: Разберем ситуацию с битыми ссылками. Показала Ксену битые ссылки и страницы, с которых эти ссылки проставлены (чтобы получить отчет не забудьте после того, как сработает программа нажать OK, во втором окне - Cancel). Далее мы видим те страницы, откуда стоят битые ссылки и исправляем их через админку, если сайт на движке или в коде, если сайт без движка. С дублями страниц все НАМНОГО сложнее. Тут уже необходимо понять, откуда эти дубли берутся, а причины у каждого отдельного сайта могут быть свои. Например недавно убирал дубли у свадебного интернет магазина - там причиной был модуль карты сайта для Joomla, который ставил одну ссылку на главную страницу вида www.домен.ru/home/ После перехода по этой ссылке полностью перестраивалась вся структура URL и каждая страничка получала префикс /home/ ввиду чего КАЖДАЯ страница сайта получила по дублю. Вот так то =)

Автор:Monotonik

Комментарий: Добрый день, наткнулся на ваш блог и сразу в закладки его занес - хорошо пишите. А теперь, собственно, вопрос. Я скачал программу xenu и прогнал один из своих сайтов. Программа показала ошибки, но я не совсем понял что они означают. Например: http://site.ru/?cat=3/page/43/ error code: 404 (not found), linked from page(s): http://site.ru/?cat=3&paged=43 Что это значит? Что сама ссылка http://site.ru/?cat=3/page/43/ - битая, или что на этой странице есть битая ссылка? Я нажимаю в отчете на эту ссылку и у меня загружается страница, которая там и должна быть. Что программа имеет ввиду?

Автор:orochimaru6

Комментарий: То что на этой странице (вторая ссылка) есть битая ссылка - первая

Автор:Олег

Комментарий: Ни у кого раньше не встречал описания этой программы. Полезная вешь. Уже час читаю этот блог, столько всего интересного. При сканировании Xenu, в Касперском иногда всплывают предупреждения о загрузке опасных объектов, которые он запрещает. Может на время проверки отключать антивирус? Влияет ли это на правильность полученных данных?

Автор:orochimaru6

Комментарий: Каспер бредит; ) Вырубайте. У меня на работе тоже Каспер последней версии - молчит в трубочку) Кстати!!!!! Возможно у вас на сайте вирус?! Тогда вполне естественно, что в индексе Яндекс 0 страниц и то, что Каспер орет!!

Автор:Олег

Комментарий: Нет, я сканировал нормальный сайт с хорошей индексацией. А Каспер делал предупреждения именно на то, что программа пытается что-то там открыть и проверить. Для него же все программы без цифровой подписи подозрительные... На всякий случай проверю на вирусы.

Автор:orochimaru6

Комментарий: У меня на работе стоит Каспер самый новый и на Ксену не бычит ;)

Автор:Dmitriy

Комментарий: Скажите, а почему следует прогонять именно в 2 потока а не больше?

Автор:Виктор

Комментарий: Я точно знаю почему в 2 потока, потому что если Ваш сайт большой то Вы превысите лимиты хостинга. Там есть определенные лимиты на php и sql запросы. У меня получилось получить такое предупреждение, потому что поставил побольше потоков.

Автор:orochimaru6

Комментарий: Совершенно верно!

Автор:Миахил Арсланов

Комментарий: Скачал программу, настроил, вбил url .. сижу жду когда закончит, посмотрим на результаты *CRAZY*

Автор:Светлана

Комментарий: Поздравляю!Это самое понятное и, пожалуй, полное руководство по использованию программы. Спасибо за наглядные примеры!

Автор:Antey55

Комментарий: Добрый день! После того как отработает программа я не могу зайти на свой сайт. Выдает такую заставку. Your IP was temporary blocked due to high requests flow. Ваш IP был временно заблокирован по причине слишком высокого потока запросов. Почему это происходит?

Автор:orochimaru6

Комментарий: На хостинге стоит защита от ddos, а ваш ip считается инициатором этой атаки) Ничего страшного в этом нет, но чтобы не видеть этой ошибки используйте прокси.

Автор:Поликрабонат

Комментарий: Про данную программу слышу в первые,надо по тестировать.

Автор:Ирина

Комментарий: Впервые услышала о программе. Благодарю! Буду разбираться теперь в техническом анализе сайта

Автор:numinoross

Комментарий: Проверил сайты на дубли и вылезли категории и архивы. Их закрывать в роботсе или пусть так и остаются?

Автор:Monotonik

Комментарий: Да, архивы и категории лучше закрыть.

Автор:orochimaru6

Комментарий: Совершенно верно!

Автор:Alex

Комментарий: есть сайт у него примерно 85 000 страниц, как быстро узнать список страницы какие именно страницы еще не проиндексированы в гугле и яндаксе?

Автор:Виктор

Комментарий: А вот мне это не понятно: 2.отсеиваете страницы по весу и стараетесь избавиться от файлов, имеющих очень большой вес Вес это что - размер ? Где эта колонка ?

Автор:orochimaru6

Комментарий: Да, это размер файла. Колонка называется Size

Автор:Артур

Комментарий: Спасибо за ценную информацию!) Очень помогло, много что почерпнул и исправил) Возник вопрос, на многих страницах категорий программа показала уровень вложенности 1. Хотя по факту они должны быть на 2 уровне (по другому же не может быть?). Это нормальная ситуация? Спасибо!

Автор:Олег

Комментарий: Спасибо за отличную статью! Но хотелось бы уточнить, поменялись некоторые адреса страниц(для некоторых стоят редиректы), в поисковике есть и новые и старые страницы. Нужно ли старые, которые с редиректом исключать в робот.тхт?

Автор:Antonova Alexandra

Комментарий: Статья как раз под руку попала. оказалась в нужное время и нашлась в самый подходящий момент. Автору респект и уважение! Статья очень полезная!

Отправьте комментарий:

Комментарии
avatar
Олег
Ширина товарной матрицы - один из важнейших факторов.. А как быть, если сайт продает не готовые товары, а изготавливает на заказ? Например, мебель на заказ по индивидуальному проекту. Тут тягаться по широте товарной матрицы с обычными мебельными интернет-магазинами никак не получится. Перейти
avatar
orochimaru6
Ага - я обычно туда вписываю дополнительные ключи, которые важны, но им не хватило места в других тегах! Перейти
avatar
orochimaru6
В общем виде да - если все картинки содержат в тегах основные ключи, которые так же есть и в тексте и в заголовках + не дай бог еще и в меню навигации. Перейти

Читайте также

Как раскрутить лендинг. Пошаговое руководство

Сегодня я подготовил очень интересный материал. Работая над этим постом мне хотелось в одном месте собрать...

Подробнее

Создаем семантическое ядро сайта по шагам

Создание сем групп — достаточно избитая тема, не так ли? Но, если взглянуть на проблему более...

Подробнее

Как раскрутить интернет-магазин. Пошаговое руководство

В данной статье хотелось бы максимально подробно осветить такую популярную тему...

Подробнее

Как раскрутить молодой сайт в Яндексе

Существуют такие сайты, для которых в рамках своей тематики можно без труда продвинуть запрос...

Подробнее

Заинтересовались? Отправляйте заявку прямо сейчас!



Закажите услугу
прямо сейчас