Как поисковая система видит сайты?

Поисковая система — не человек, а машина, которая видит все сайты не так, как мы. Красивая графика на сайте, хорошо оформленный текст, интересное видео и т.п. — так представляется для нас сайт. А поисковикам необходимо это все распознать, отделить. После чего текстовая информация преобразуется в определенный словарь с упоминанием каждых слов. Ниже фрагмент html-кода, который ПС предстоит еще разобрать:

Фрагмент кода

Почему не все страницы сайта попадают в индекс?

Поисковой робот берет только те страницы, которые ему нужны и отбирает их он по сложному алгоритму. На вашем сайте могут быть очень важные страницы для вашей целевой аудитории, которые робот посчитает не нужными для него.

Задача seo-оптимизатора исправить эту ситуацию, добавив все нужные страницы в индекс, убрав при этом лишние страницы из индекса, которые не имеют никакого значения. Я отдельно разбирал данный вопросом, подробнее можно ознакомиться в материале — почему не индексируется сайт?

Как убрать страницу из индекса?

Для того, чтобы очистить индекс, нам необходимо пользоваться файлом robots.txt. Он позволяет управлять поведением поисковых роботов на сайте:

  • установить запрет на индексацию сайта
  • указать главный адрес сайта
  • добавить карту сайта

robots.txt - что это?
Фрагмент из файла robots.txt (да, его можно использовать нестандартно!)

Зачем нужен sitemap.xml?

С помощью данного файла вы можете подсказать роботу, какие страницы добавить в базу для индексации при посещении вашего сайта. Sitemap.xml — представляет собой карту сайта, в которую должны быть включены все основные страницы сайта, которые должны присутствовать в индексе.

Сайт не видят поисковые системы

Может возникнуть вопрос: почему сайт не виден в поисковых системах? Вы учли все основные моменты, добавили карту сайта и составили правильный файл robots.txt. На сайте полезная уникальная информация, а его нет в индексе? Я бы рекомендовал, проверить еще раз все перечисленное и просмотреть рекомендации при разработке сайта.

Если вы только что создали сайт, то необходимо время на его индексацию. Чтобы ускорить процесс, разместите несколько упоминаний вашего сайта в твиттере и других социальных сетях. (необходимо, чтобы ваши аккаунты были живые и не созданы только сегодня).

Кроме того, доменное имя сайта раньше могло использоваться на сайтах с плохим качеством. Проверьте историю домена, не находится ли в бане он, присутствует ли в вебархиве? Если да, то необходимо написать письмо в Яндекс о том, что Вы создали новый сайт и перечислить что обнаружили.

Почему сложно работать с клиентскими сайтами, а иногда невозможно? Дело в том, что те, кто разрабатывают сайт вообще не задумываются о том, что их потом придется продвигать. Такое встречается довольно часто:

— Добрый день, мы бы хотели заказать продвижение сайта.

— Добрый. Мы можем продвигать ваш сайт только внешними факторами, но это не очень эффективно. Необходимо доработать ваш сайт.

— Как доработать? Мы вложили в него массу денег, он разрабатывался в течение года. Вы просто хотите с нас больше денег.

— Вы можете заказать доработку сайта в другой студии и прийти к нам на SEO-продвижение.

— Нет, я пойду к другим на продвижение. Они гарантируют высокие позиции через три недели. И наш сайт их устраивает!

— Хорошо. Удачи в продвижении. До скорой встречи.

Проходит месяц — «гарантированных» позиций нет. Пройдет три месяца — запросов нет. Клиент либо вернется к вам, либо начнет искать новую компанию, либо окончательно разочаруется в SEO.

Перед подрядчиками не стоит задача разработать сайт, пригодный для продвижения. Недостаточно просто сказать: «сайт необходимо будет продвигать, а что для этого необходимо внедрить — выберите сами».

Руководитель SEO-отдела, преподаватель, автор проекта albakoff.ru

Комментарии
  1. Разработчик может конечно и задумывается над проблемой продвижения, но и зачастую заказчики не имеют понятия о том, что такое SEO и отказываются платить за это деньги. Они считают если сайт есть то значит и клиенты к ним повалят. А проходит время и оказывается, что деньги потраченные на создание сайта, были потрачены зря.

    1. Таких уже очень мало. Если есть заказчик, который сам придет и скажет нужно продвижение — он уже понимает, что создание сайтов — это только создание и никакой пользы от сайта без продвижения. Как и от продвижения нет пользы, если не создать сайт. Даже если чел не заказал продвижение — у него все равно есть сайт, который будет набирает со временем траст. Хотя бы просто присутствовать в поиске. А потом уже можно будет его продвигать.

  2. Все это конечно полезная инфа, но поисковики это такие продажные ребята поверь. Там топ 10 спокойно контролируется. По сути у кого больше денег тот и рулит. Тот больше может поставить ссылок на себя и соответственно лучше виден в топе новостей. Поднимая тиц и цитирование в интернете увеличивая беклинки. Сейчас любой сайт даже особо не выставляя анкоры и ключевые слова можнов топ двинуть были бы деньги да и зачем двигать если рекламу можно тупо купить.

    1. Зачем им продавать свой топ? Если начнут продавать — выдача будет засорена. Им выгодно, чтобы пользователь оставался. А продажа и так идет — показы рекламы от поисковика под строкой запроса — чем не прямая продажа мест в топе?! Открыто. Дорого. Эффективно.

Добавить комментарий

Следите за нашими новостями
Подпишитесь на нашу рассылку, чтобы получать то, что не вошло в блог или анонсы.
Рассылка «Делаем маркетинг лучше» выходит раз в месяц.