Как поисковая система видит сайты?

Поисковая система — не человек, а машина, которая видит все сайты не так, как мы. Красивая графика на сайте, хорошо оформленный текст, интересное видео и т.п. — так представляется для нас сайт. А поисковикам необходимо это все распознать, отделить. После чего текстовая информация преобразуется в определенный словарь с упоминанием каждых слов. Ниже фрагмент html-кода, который ПС предстоит еще разобрать:

Почему не все страницы сайта попадают в индекс?

Поисковой робот берет только те страницы, которые ему нужны и отбирает их он по сложному алгоритму. На вашем сайте могут быть очень важные страницы для вашей целевой аудитории, которые робот посчитает не нужными для него.

Задача seo-оптимизатора исправить эту ситуацию, добавив все нужные страницы в индекс, убрав при этом лишние страницы из индекса, которые не имеют никакого значения. Я отдельно разбирал данный вопросом, подробнее можно ознакомиться в материале — почему не индексируется сайт?

Как убрать страницу из индекса?

Для того, чтобы очистить индекс, нам необходимо пользоваться файлом robots.txt. Он позволяет управлять поведением поисковых роботов на сайте:

• установить запрет на индексацию сайта
• указать главный адрес сайта
• добавить карту сайта

Фрагмент из файла robots.txt (да, его можно использовать нестандартно!)

Зачем нужен sitemap.xml?

С помощью данного файла вы можете подсказать роботу, какие страницы добавить в базу для индексации при посещении вашего сайта. Sitemap.xml — представляет собой карту сайта, в которую должны быть включены все основные страницы сайта, которые должны присутствовать в индексе.

Сайт не видят поисковые системы

Может возникнуть вопрос: почему сайт не виден в поисковых системах? Вы учли все основные моменты, добавили карту сайта и составили правильный файл robots.txt. На сайте полезная уникальная информация, а его нет в индексе? Я бы рекомендовал, проверить еще раз все перечисленное и просмотреть рекомендации при разработке сайта.

Если вы только что создали сайт, то необходимо время на его индексацию. Чтобы ускорить процесс, разместите несколько упоминаний вашего сайта в твиттере и других социальных сетях. (необходимо, чтобы ваши аккаунты были живые и не созданы только сегодня).

Кроме того, доменное имя сайта раньше могло использоваться на сайтах с плохим качеством. Проверьте историю домена, не находится ли в бане он, присутствует ли в вебархиве? Если да, то необходимо написать письмо в Яндекс о том, что Вы создали новый сайт и перечислить что обнаружили.

Почему сложно работать с клиентскими сайтами, а иногда невозможно? Дело в том, что те, кто разрабатывают сайт вообще не задумываются о том, что их потом придется продвигать. Такое встречается довольно часто:

— Добрый день, мы бы хотели заказать продвижение сайта.

— Добрый. Мы можем продвигать ваш сайт только внешними факторами, но это не очень эффективно. Необходимо доработать сайт.

— Как доработать? Мы вложили в него массу денег, он разрабатывался в течение года. Вы просто хотите с нас больше денег.

— Вы можете заказать доработку сайта в другой студии и прийти к нам на SEO-продвижение.

— Нет, я пойду к другим на продвижение. Они гарантируют высокие позиции через три недели. И наш сайт их устраивает!

— Хорошо. Удачи в продвижении. До скорой встречи.

Проходит месяц — «гарантированных» позиций нет. Пройдет три месяца — запросов нет. Клиент либо вернется к вам, либо начнет искать новую компанию, либо окончательно разочаруется в SEO.

Перед подрядчиками не стоит задача разработать сайт, пригодный для продвижения. Недостаточно просто сказать: «сайт необходимо будет продвигать, а что для этого необходимо внедрить — выберите сами».