Screaming Frog SEO Spider

Screaming Frog SEO Spider (СЕО Паук) — инструмент для анализа и аудита сайта. Большинство специалистов используют данную программу при проведении технического аудита сайта. Благодаря удобному и простому интерфейсу, Screaming Frog позволяет быстро и легко решить поставленную задачу. Еще одним преимуществом является то, что программу можно запустить на PC, Mac или Linux.

При первом запуске программа может отпугнуть как профессионалов, так и новичков из-за различных способов настройки конфигурации и функциональности. Кроме того, новички могут не знать, где скачать программу (с торрента или прямой файл), есть ли бесплатная версия, какие у нее ограничения, как получить ключ (keygen) для полной версии, как пользоваться и т.д. — о чем подробно мы и поговорим.

Как скачать Screaming Frog SEO Spider tool?

Программа распространяется бесплатно и позволяет проанализировать 500 страниц вашего сайта.

Чтобы скачать программу, переходим на официальный сайт (www.screamingfrog.co.uk/seo-spider/) и скачиваем бесплатную версию (free downloads). После чего необходимо будет установить и запустить софт.

Для получения полной версии — кликаем в меню на Licence (Лицензия) -> Enter Licence Key (ввести лицензионный ключ). В новом окне вводим имя пользователя и ключ, после чего подтверждаем лицензию и перезагружаем программу.

Как пользоваться Screaming Frog SEO Spider?

В первое время мне и самому было сложно привыкнуть к данной программе, так как обходился другими аналогами, которых благо очень много, например: Netpeak Spider, Xenu, PageWeight и т.д. Но каждая программа уникальна по своему и лучше подходит для определенных задач, поэтому SEO-специалисту важно уметь работать с различными инструментами. Начнем мы изучение с базовых возможностей.

Как сканировать сайт?

Процесс сканирования необходимо начать с настройки программы. Screaming Frog сканирует только указанный домен, а все его поддомены будет рассматривать как внешние ссылки. Чаще всего необходимо, чтобы основной домен и поддомены воспринимались как единый ресурс, поэтому выбираем опцию «Crawl All Subdomains» в разделе Spider -> Configuration.

Если требуется экспресс-анализ сайта, вы можете убрать из обхода CSS, JavaScript, SWF файлы. Убрав чек-поинты с соответствующих пунктов в том же окне.

Для начала сканирования — вводим адрес сайта и кликаем на кнопку старт.

Как сканировать определенный раздел на сайте?

Для сканирования определенного раздела — просто указываем ссылку на данный раздел.

Паук пробежится по всем ссылкам с данной страницы, таким образом вы просканируете один каталог. Такое необходимо, если у вас большой ресурс и вы поэтапно прорабатываете каждый раздел на нем.

Если вы выберете функцию «Crawl Outside Of Start Folder» — паук после анализа данной страницы, начнет анализировать все найденные урлы.

Исключаем определенный раздел

Вы также можете задать списком разделы, которые необходимо просканировать и задать определенный каталог как исключение. В разделе Configuration вы найдете два элемента:

• Include settings — правила включения определенных разделов;
• Exclude settings — правила исключения определенных разделов.

Таким образом, можно быстро исключить ненужное для больших проектов.

Получаем список всех страниц сайта

Для получения всех страниц html — необходимо запустить сканер для всего сайта. Затем выбрать только html страницы и выполнить выгрузку файлом excel.

Программа очень удобная благодаря гибкости. Можно настроить практически под любые нужды. Рассмотрим еще несколько возможностей.

Если вам необходимо определить страницы с протоколом http или https — достаточно перейти в окно «Protocol» и отсортировать страницы по нужному принципу. Функция удобная, если вы только что перешли на https и вам нужно исправить неправильные урлы на сайте.

Коды ответа сервера можно найти на вкладке Response Codes. Позволяет быстро найти битые ссылки (400-ый ответ), страницы с редиректами (300-ый ответ), кроме этого покажет и другие ответы (500-ый — падение сервера, 200-ый с документом все хорошо).

Для анализа мета-тега title отлично подойдет вкладка Page Titles с множественными вариантами сортировки

С остальными полями вы можете ознакомиться самостоятельно.

Создание карты сайта xml

О важности создания карты сайта xml я писал в отдельной статье. Данный софт позволяет создать ее быстро.

Результат будет следующий (файл обрезан):

Программа действительно имеет большие возможности + есть версия на макбук, что является огромным плюсом. При проведении технического аудита сайта я использую комплекс программ, одной из них является SEO FROG. Обойтись только данной программой возможно, но это занимает немного больше времени. Как и какие программы используете вы?