Аудит программой Screaming Frog SEO Spider

Аудит с помощью Screaming Frog SEO Spider

После выбора инструментария, надо понять с каким драконом придется сражаться и сколько усилий это потребует. Будь это запуск молодого проекта или поискового продвижения сайта, который уже давно в поиске, путь к ТОП следует с аудита.
Знание ошибок поможет определить приоритеты исправления. Временные рамки и трудозатраты, что в итоге позитивно скажется на ранжировании сайта. Аудит обязательно проводится в начале продвижения, после технических работ и, желательно, по истечении определённого временного промежутка. Лично я бегло просматриваю основные моменты раз в месяц — два.

Декстопная программа Screaming Frog SEO Spider — один из вариантов проверки сайта на ошибки. Её нельзя назвать дешевой, но затраты в 150 фунтов в год оправданны для производственных масштабов, а для владельцев небольших сайтов подойдет и бесплатная версия с ограничением 500 страниц.

Рассмотрим полный цикл настройки программы и проведения технического аудита сайта.

Первичные настройки Screaming Frog

У программы нет русской локализации, но базовых знаний английского языка достаточно. Настройки находятся на главной панели задач под кнопкой Configuration -> Spider.

Настройки программы Screaming Frog SEO Spider

На первой вкладке Basic находятся базовые настройки. Тут программе указываем парсить определённые типы URL и поддомены сайта. Можно отключить парсинг ненужного, что существенно скажется на скорости работы. Внимание стоит обратить на раздел Robots.txt. Программа по умолчанию следует его правилам, поэтому стоит поставить отметку, которая отвечает за их игнорирование. Вдобавок можно назначить директиву показывать все заблокированные страницы.

Базовые настройки Screaming Frog SEO Spider

На вкладке Limits устанавливаются лимиты парсинга. При проверке больших сайтов, ошибки носят однотипный характер, а компьютеру может не хватить памяти. Для комфортной работы следует установить глубину по вложенности на уровне 4–5, как указано на скрине. Можно установить лимит на длину URL и общее количество.

Лимиты в Screaming Frog

В разделе Advanced надо сразу отметку тут. Это указание сразу остановить парсинг при максимальном использовании памяти. В противном случае программа просто закроется и данные будут утеряны.

Расширенные настройки в Screaming Frog SEO Spider

В разделе Preferences устанавливаются максимальные и минимальные рамки длины Title и Description, чтобы в конечном отчёте видеть списки страниц, которые отклоняются от нормы.

Лимиты Title и Description

Аудит можно проводить не для всего сайта целиком, а для определённого его раздела или можно исключить из парсинга определённые адреса. Для это необходимо указать нужные URL в Configuration -> Include (чтобы проверить только определенный раздел) и Configuration -> Exclude (чтобы исключить раздел). Вводить исключения нужно в формате http://site/category/*.

Парсинг отдельных каталогов сайта

Важным моментом настроек является установка лимитов скорости. Заходим в Configuration -> Speed. Не все сайты выдержат агрессивное сканирование. Если не хотите уложить его спать, лучше установить лимиты URL. Начать можно с отметки 10.

Скорость парсинга в Screaming Frog SEO Spider

После начала нужно обратить внимание на показатели внизу. Если текущая скорость (Average) ниже допустимой (Current), как на скрине, то парсинг проходит нормально. В противном случае лимит стоит указывать ниже допустимой скорости.

Скорость Screaming Frog

Полезной функцией настроек является установка фильтров в Configuration -> Custom -> Search. Можно получить данные, которые содержат или не содержит определённый текст или код.

Пользовательские фильтры в Screaming Frog SEO Spider

Последним этапом настройки для тех, кто работает через прокси-сервер станет указание IP в Configuration -> Proxy.

Прокси в Screaming Frog SEO Spider

После окончания настройки программы, следует сохранить их как стандартные, чтобы в следующий раз не пришлось повторять все действия заново.

Сохранение настроек в Screaming Frog SEO Spider

Аудит с помощью Screaming Frog SEO Spider

Когда с настройками закончили можно приступать к оценке ситуации. В строку ставим URL сайта и нажимаем кнопку Start. Начало парсинга в Screaming Frog SEO Spider

Интерфейс состоит из основного рабочего поля, вкладками аудита сверху и теми же вкладками только в правом сайдбаре. Мне лично, удобней перемещаться по сайдбару.

Рабочая поверхность в Screaming Frog SEO Spider

Internal

Здесь мы найдём всю информацию по результатам анализа кроме внешних ссылок с сайта и фильтров, которые установили. Данные можно отфильтровать по нужному типу как специальной опцией, так и в сайдбаре.

Поиск пустых страниц

На этом этапе можно отследить пустые страницы и те, на которых очень маленькое количество контента. Для этого надо выгрузить HTML отчёт.

Internal

1. В хls файле необходимо найти колонку WordCount
2. Переносим колонку к URL
3. Выставляем фильтр по возрастанию
4. На колонке StatusCode устанавливаем фильтр на код 200

Пустые страницы на сайте

Теперь перед нами список адресов с нулевым количеством символов. Скорее всего, они не несут ничего полезного посетителям. Код 200, нужно выставить, так как оцениваем только доступные страницы посетителям. Пустые можно закрывать от индексации в robots.txt или настраивать 301 редирект в зависимости от ситуации. Конкретно на скрине проблем нет.

Перелинковка сайта

По Level и Inlinks можно сделать выводы о вложенности и перелинковке сайта. По второй колонке можно посмотреть количесвто внутренних ссылок.

Анализ вложенности и перелинковки

External

External отвечает за внешние ссылки с сайта. Ссылки с 404 кодом ответа исправляем либо удаляем.

External

Чтобы узнать страницы с битыми ссылками, необходимо смотреть на дополнительное нижнее рабочее поле, вкладку Inlinks. Чтобы выгрузить все внешние ссылки с источниками идем в Bulk Export -> All Inlinks в верхней панели инструментов.

Выгрузка ссылок на удаленные страницы

Response Codes

Вкладка посвящена ответам сервера. Большинство должны давать код 200 — успех. К остальным следует присматриваться:

1. 3хх — коды, отвечающие за редиректы. Следует просмотреть правильно ли выбрана ситуация для использования и страница перенаправления. Это отдельная большая тема. Конкретно в этом случае видим много 301 редиректов, которые перекидывают посетителей с адресов без / в конце на страницы с ним. Довольно распространённая ситуация, можно сказать, классика. Такое решение было принято для избежания дублированного контента в поиске.

301 редирект в Screaming Frog SEO Spider

2. 4хх — удалённые страницы. Надо понимать сознательно ли были они были удалены. Обязательно проверить ссылки, которые ведут на 404. Действуем аналогично ситуации с внешними ссылками с сайта — Bulk Export -> All Inlinks.

3. 5хх — ошибки сервера. Чаще всего возникаю при падении сайта и решаются на стороне хостера.

4. Blocked by Robots.txt — страницы заблокированы роботсом. Сразу можно оценить, не были ли закрыты важные урлы от индексации.Коды сервера

URL

Следующим этапом аудита смотрим адреса нашего сайта. URL должны быть по возможности короткими, понятными, не содержать специальных символов. Отчёты этого раздела дадут разобраться насколько адреса нашего сайта ЧПУ (человекопонятный урл).

Non ASCII Characters — адреса, которые не соответствуют схеме кодирования ASCII. Или проще говоря запрещённые специальные символы или кириллица. С такими адресами могут возникнуть проблемы при проставлении ссылок.

Underscores — нижнее подчёркивание вместо дефиса. По сути, не является грубой ошибкой, Google даже рекомендует его использовать, но в списке он идёт на втором месте после знака дефиса.

Uppercase — верхний регистр в адресе. Идеально не использовать caps lock в URL.

Duplicate — на этот отчёт стоит обратить особое внимание. В нём указываются страницы с одинаковыми адресами, скорее всего, дублями контента. Для них необходимо использовать 301 редирект.

Parameters — страницы параметры, с которыми стоит как минимум ознакомится. Они содержат в своём адресе знаки ?, &. Чаще всего служат для вызова скриптов. Такие могут содержать одинаковый контент, и его стоит закрыть от индексации. Например, страницы сортировки в интернет-магазинах.

Over 115 Characters — адреса, которые превышают длину 115 символов. Идеально, чтобы ЧПУ был коротким и понятным.

URL

Page Titles

Дальше проверяем Title — мощный фактор ранжирования в ПС.

Missing — страницы где отсутствует метатег Title.

Duplicate — страницы с дублированными Title. Это ошибка, так как этот метатег должен быть уникален. Стоит также проверить, не следствие ли это появления дублей.

Over 65 Characters — Title длиннее 65 символов, или того значения, которое было установлено в настройках. Считается, что оптимальная длина Title 56 — 70 символов.

Below 30 Characters — меньше 30 символов.

Same as H1 — повторяет заголовок. По этому поводу ведутся постоянные споры. Лично я не считаю это ошибкой, но стараюсь делать Title отличным от H1.

Multiple — метатег Title встречается несколько раз на странице.

Title

Meta Description

Раздел посвящён метатегу Description. Краткое описание страницы, которое отображается в сниппете. Длина — до 160 символов, должно быть уникальным, содержать продвигаемые запросы и призыв к действию.

Missing — показывает, где метатег не заполнено.

Duplicate — страницы с дублированным Description. Считается, что текст описания должен быть уникальным. Еще это может быть признаком дублированного контента.

Over 156 Characters — Description длиннее 156 символов. Слишком длинный текст не помещается в сниппет и не будет увиден пользователями. Оптимальная длина — до 160 символов.

Below 70 Characters — меньше 70 символов. Слишком короткое описание не понравится поисковикам, и они будут брать текст со страницы.

Multiple — метатег Description встречается несколько раз на странице. Снова-таки ошибки, которые могут быть следствием использование нескольких SEO плагинов.

Description в Screaming Frog SEO Spider

Meta Keywords

Метатег Keywords давно утратил свою актуальность. Тем не менее он может учитываться при ранжировании в поисковой системе Яндекс, согласно справке Вебмастера. В любом случае за спамность или неправильное его заполнение, наказание не последует. Максимум поисковики будут его игнорировать. По аналогии с другими метатегами можно проверить пропущенные, дублированные, множественное использование.

Keywords в Screaming Frog SEO Spider

H1 и H2

Анализируем заголовки первого и второго уровня. Считается, что они должны быть отличными от Title, не быть слишком длинными. Заголовок первого уровня используется на странице только один раз, когда для второго ограничений нет. Мы можем увидеть все пропущенные, дублированные, слишком длинные заголовки. Особое внимание стоит обратить на Multiple в разделе H1 — несколько заголовков первого уровня на одной странице.

H1 и H2 в Screaming Frog SEO Spider

Images

Проверяем оптимизацию изображений. Картинки не должны занимать много места, чтобы не уменьшалась скорость загрузки страницы. Еще нужно заполнять alt картинки для того, чтобы указать поисковым системам, что на ней изображено. При заполненном alt, изображение становится доступным в поиске картинок в Яндексе и Google.

Over 100 kb — изображения больше 100 kb.

Missing Alt Text — не заполнен alt.

Alt Text Over 100 Characters — alt длиннее 100 символов.

Изображения в Screaming Frog SEO Spider

Directives

Последняя вкладка, которой необходимо уделить особое внимание. Тут находится информация по использованию директивы canonical. Стоит просмотреть канонические страницы на предмет правильной работы: ссылка должна быть выбрана правильно отдавать код сервера 200. С помощью Reports -> Canonical Errors выгружаем все ошибки директивы.

Canonical в Screaming Frog SEO Spider

Это основные моменты, на которые стоит обращать внимание при проведении аудита любого сайта. При постоянной практике, время на потраченное на него не занимает больше 10–15 минут, не считая парсинга. Программа Screaming Frog SEO Spider — лучший инструмент для выявления ошибок на своём сайте.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *