Screaming Frog SEO Spider
Screaming Frog SEO Spider (СЕО Паук) — инструмент для анализа и аудита сайта. Большинство специалистов используют данную программу при проведении технического аудита сайта. Благодаря удобному и простому интерфейсу, Screaming Frog позволяет быстро и легко решить поставленную задачу. Еще одним преимуществом является то, что программу можно запустить на PC, Mac или Linux.

При первом запуске программа может отпугнуть как профессионалов, так и новичков из-за различных способов настройки конфигурации и функциональности. Кроме того, новички могут не знать, где скачать программу (с торрента или прямой файл), есть ли бесплатная версия, какие у нее ограничения, как получить ключ (keygen) для полной версии, как пользоваться и т.д. — о чем подробно мы и поговорим.
Как скачать Screaming Frog SEO Spider tool?
Программа распространяется бесплатно и позволяет проанализировать 500 страниц вашего сайта.
Чтобы скачать программу, переходим на официальный сайт (www.screamingfrog.co.uk/seo-spider/) и скачиваем бесплатную версию (free downloads). После чего необходимо будет установить и запустить софт.
Для получения полной версии — кликаем в меню на Licence (Лицензия) -> Enter Licence Key (ввести лицензионный ключ). В новом окне вводим имя пользователя и ключ, после чего подтверждаем лицензию и перезагружаем программу.

Как пользоваться Screaming Frog SEO Spider?
В первое время мне и самому было сложно привыкнуть к данной программе, так как обходился другими аналогами, которых благо очень много, например: Netpeak Spider, Xenu, PageWeight и т.д. Но каждая программа уникальна по своему и лучше подходит для определенных задач, поэтому SEO-специалисту важно уметь работать с различными инструментами. Начнем мы изучение с базовых возможностей.
Как сканировать сайт?
Процесс сканирования необходимо начать с настройки программы. Screaming Frog сканирует только указанный домен, а все его поддомены будет рассматривать как внешние ссылки. Чаще всего необходимо, чтобы основной домен и поддомены воспринимались как единый ресурс, поэтому выбираем опцию «Crawl All Subdomains» в разделе Spider -> Configuration.

Если требуется экспресс-анализ сайта, вы можете убрать из обхода CSS, JavaScript, SWF файлы. Убрав чек-поинты с соответствующих пунктов в том же окне.
Для начала сканирования — вводим адрес сайта и кликаем на кнопку старт.

Как сканировать определенный раздел на сайте?
Для сканирования определенного раздела — просто указываем ссылку на данный раздел.

Паук пробежится по всем ссылкам с данной страницы, таким образом вы просканируете один каталог. Такое необходимо, если у вас большой ресурс и вы поэтапно прорабатываете каждый раздел на нем.
Если вы выберете функцию «Crawl Outside Of Start Folder» — паук после анализа данной страницы, начнет анализировать все найденные урлы.

Исключаем определенный раздел
Вы также можете задать списком разделы, которые необходимо просканировать и задать определенный каталог как исключение. В разделе Configuration вы найдете два элемента:
- Include settings — правила включения определенных разделов;
- Exclude settings — правила исключения определенных разделов.
Таким образом, можно быстро исключить ненужное для больших проектов.
Получаем список всех страниц сайта
Для получения всех страниц html — необходимо запустить сканер для всего сайта. Затем выбрать только html страницы и выполнить выгрузку файлом excel.

Программа очень удобная благодаря гибкости. Можно настроить практически под любые нужды. Рассмотрим еще несколько возможностей.
Если вам необходимо определить страницы с протоколом http или https — достаточно перейти в окно «Protocol» и отсортировать страницы по нужному принципу. Функция удобная, если вы только что перешли на https и вам нужно исправить неправильные урлы на сайте.

Коды ответа сервера можно найти на вкладке Response Codes. Позволяет быстро найти битые ссылки (400-ый ответ), страницы с редиректами (300-ый ответ), кроме этого покажет и другие ответы (500-ый — падение сервера, 200-ый с документом все хорошо).

Для анализа мета-тега title отлично подойдет вкладка Page Titles с множественными вариантами сортировки


С остальными полями вы можете ознакомиться самостоятельно.
Создание карты сайта xml
О важности создания карты сайта xml я писал в отдельной статье. Данный софт позволяет создать ее быстро.

Результат будет следующий (файл обрезан):

Программа действительно имеет большие возможности + есть версия на макбук, что является огромным плюсом. При проведении технического аудита сайта я использую комплекс программ, одной из них является SEO FROG. Обойтись только данной программой возможно, но это занимает немного больше времени. Как и какие программы используете вы?
Если остались ключи — поделись пожалуйста, буду благодарен
XENU+Netpeak Spider — самая лучшая связка по программам.
Добрый день! Можно еще одному страждущему ключи? Буду тоже очень, очень благодарна!
отправил на почту!)
Если еще можете поделиться ключом, буду очень благодарна.
И мне отправьте на почту плиз
выслано
Добрый день, можно ключ пожалуйста
Если ключ есть, поделитесь, плиз)
Здравствуйте! Хочу попробовать попробовать эту прогу, т.к. xenu зависает от большого количества ссылок. Есть возможность скинуть ключ? Буду весьма благодарен 🙂
Привет, дадите ключики?
Добрый вечер! Спасибо за статью. А еще ключи есть? Если да, то буду ооочень признателен. Спасибо.
Здравствуйте!
Спасибо за статью, все скачал и установил.
Буду благодарен если вышлите ключ для полной версии на почту.
спасибо.
Добрый день. Интересная программа. Хотел бы тоже ключик на почту если есть). С наступающими!!!
Доброго времени суток! Огромное спасибо за инструкцию и не могли бы вы отправить мне на почту ключ! Заранее спасибо!
Привет, а в чем разница с тем же нетпик спайдером? Про програмку подсмотрел у seoprofy, поэтому интересно мнение кто пользовался и тем и тем
Я пользуюсь старой версией нетпика и не знаю, что они еще в новой сделали. Frog начал использовать только при работе с мака. Однозначно frog позволяет делать больше, но тут зависит от задач каждого. Мне хватает нетпика и своих нароботок.
Здравствуйте! До недавнего времени пользовался Netpeak Spider. Сейчас как-то дороговато. Не могли бы выслать ключ, опробую эту программу.
Спасибо!
условия выдачи ключей описаны в материале.
Приветствую, интересная статья. Буду благодарен если вышлите ключ для полной версии на почту.
Здравствуйте,
Если остался еще ключик поделитесь пожалуйста. Скачал версию 7.2.
Заранее спасибо!
все условия в посте!)
Здравствуйте! Можно получить ключ?
Заранее спасибо.
Привет, можно попросить у вас ключ для фрога
А можно и мне ключик?
Добрый день! Пользуюсь фрогом несколько лет, очень хорошо подходит под задачи с небольшими сайтами, но ограничение периодически мешает. Буду признательна, если вышлете ключик. Возможно кто-то сталкивался с проблемой когда на странице сразу несколько заголовков H1, как найти именно такие страницы с помощью данного сервиса?
Там же есть вкладка: H1.
И в ней (скролл вправо) — H1-1, H1-2. То есть уже больше одного H1 покажет, ну а дальше — какая разница, два или пять — фиксить надо ручками 🙂
Хотел бы тоже ключик спс
Печаль нетпиком пользуюсь через паралельс десктоп ( там же и колектор (((
Отличная программа, мощная, «вменяемая». Причем одинаково хорошо помогает и для русскоязычных проектов, и для буржнета (вот сейчас канадский сайт анализировали). Жаль только, что лицензия недешевая 🙁
Добрый день! Программа действительно хорошая, на прошлой работе активно пользовалась. Если вам нетрудно, вышлите, пожалуйста, ключ 🙂
Заранее спасибо!
Добрый день. Самая лучшая прога, на мой взгляд.
Поделитесь, пожалуйста и со мной ключиком.
Спасибо
Здравствуйте. Пользуюсь этой программой уже около трех лет. Инструмент отличный, всем меня устраивает. Только вот лицензия закончилась. Пожалуйста, вышлите мне лиц. ключ.
Заранее спасибо.
Здравствуйте! Руслан, спасибо за статью и классный блог. Нашел много тут много интересного для себя в том числе обзор-инструкцию по работе с программой. Скачал себе и многое узнал о своем сайте. Правда сайт у меня большой и в бесплатной версии много что не показано и обрезано. Если есть возможность пришлите ключ, у меня Mac. Спасибо!
Скачала программу, но у меня она даже не открылась. Почему бы это?
Все же открыла, с помощью совместимости. Теперь у вас почитаю, как пользоваться.
Вы все подробно описали и я во всем разобралась, спасибо вам. Кроме того, видела еще интересные заголовки, так что буду заходить.
Проверила свой сайт и заметила, что масса ссылок с аватаров, может быть их лучше отключить, как вы думаете.
Огромное количество страниц кеш, видимо их нужно запретить в robots.txt?
Ссылки с аватарами можете сделать внутренними. Про кеш страницы — приведите пример.
Спасибо Руслан, за хорошую идею, поищу в Интернете, как это выполнить техничски. А может быть вы об этом напишите, таких чайников, как я великое множество, так что будут заходить. Мне такое решение вопроса нигде не попадалось.
Хороший способ накрутить поведенческие! Браво! 🙂
Неудобен сам сайт для пользователя. Нет прямых ссылок на предыдущие посты, в разделах нет даты поста. Нужно перелопатить кучу страниц вручную — найти в общем списке всех статей данный пост, и далее идти «в раньше». Юзаю версию 5.1. Есть плюсы у версии 8.1. ?
1. Удобство сайта — ещё в планах. А так это стандартная структура блога, чем изначально и задумывался проект.
2. ПФ не крутил, подобные материалы и так выходят в ТОП. А вот активность пользователей — улучшал, т.к. это мотивирует вести блог дальше.
3. Если версии 5.1 достаточно, используйте ее. Я, к примеру, использую другой софт для парсинга. К фрогу прибегаю, если необходимо спарсить информацию по конкретному списку страниц.
Здравствуйте, Руслан!
Можете выслать ключ для MacOS?
Заранее спасибо!
Здравствуйте, Руслан! Cпасибо за статью и классный блог. Нашел много тут много интересного для себя в том числе обзор-инструкцию по работе с программой. Если есть возможность пришлите ключ. Спасибо!
Здравствуйте! Если не сложно, пришлите ключи и мне) Спасибо за статью!
Добрый день. Высылаем только при соблюдении определенных условий, описанных в посте. Если ключей у нас нет (они у нас не в неограниченном количестве), то информацию из поста скрываем.