Индексация сайта в поисковых системах: подготовка, проверка и ускорение

Индексация сайта в поисковиках – процесс обработки веб-ресурса и занесения сведений, полученных с него, в специальную базу данных программами-роботами (далее - ботами). Она необходима для того, чтобы пользователи легко могли найти в Сети ваш ресурс по каким-либо поисковым запросам. Если не предпринимать никаких мер по ее проведению, улучшению и ускорению, ваш ресурс, скорее всего, так никто никогда и не увидит. Но обо всем по порядку.

Зачем нужна индексация?

Индексация - очень важный процесс на этапе раскрутки сайта. Своевременно выполненная, она позволяет решить сразу несколько задач:

• занять достойное место в поисковиках;
• привлечь поисковый трафик на ресурс;
• привлечь партнеров для обмена ссылками, а магазинам – клиентов;
• улучшить поведенческий фактор (работает, если контент на сайте по-настоящему полезный, а не состоящий из абракадабры);

Кроме того, боты при индексации могут выявить нарушения правил действующих поисковиков и применить меры. Например, заблокировать ресурс или отправить его под фильтр, тем самым немного снизив конкуренцию в Сети.

Какой она может быть?

Индексация сайта в "Яндексе" или Google может быть осуществлена двумя разными способами:

1. Роботы самостоятельно определяют свежие страницы на ресурсе. Этот метод хорош только в том случае, если на ваш сайт уже ссылаются другие ресурсы. Иначе прихода ботов можно ждать до бесконечности.
2. Ручной метод. Вы сами добавляете ссылки на свой ресурс в аддурилки "Яндекса" и "Гугла". Способ простой, понятный. Позволяет молодому сайту быстро «встать на очередь» и проиндексироваться.

Но каким бы ни был выбранный метод, необходимо еще правильно подготовить сайт к индексации в поисковиках. О том, как это сделать, расскажем чуть ниже.

Как часто проходит обработка?

Индексация сайта в "Яндексе" и других поисковиках может занимать вплоть до целого месяца. Но этот срок можно значительно сократить, буквально до пары часов. Для этого необходимо выкладывать на ресурс ежедневно хотя бы по одной качественной статье и добавлять ссылки на них в аддурилку. Впрочем, этого будет достаточно лишь в том случае, если вы провели все необходимые работы по улучшению и ускорению своего портала.

Какие требования предъявляют поисковики?

Чтобы ресурс был проиндексирован как можно быстрее и эффективнее, он должен отвечать следующим требованиям поисковиков:

• быть адаптированным к просмотру на мобильных телефонах и компьютерах;
• быстро загружаться (он должен это делать буквально за 2 секунды или менее);
• иметь грамотную перелинковку (ссылки с одной страницы сайта на другую);
• иметь грамотную структуру (отдаленность каждой страницы от главной - не более чем в 3 клика);
• быть часто обновляемым полезными для пользователей материалами.

Что касается интернет-магазинов, каждый товар в нем должен иметь свою страничку, описание и фото. Неплохо также будет где-нибудь под описанием разместить блок ссылок на похожие продукты (очень полезно для улучшения конверсии!).

Как подготовить сайт к индексации?

Сделать это можно путем его внутренней и внешней оптимизации. В частности, необходимо сделать следующее:

1. Выбрать правильное имя для домена. Лучше всего, если в его название будет входить главное ключевое слово. Желательная длина – до 12 символов.
2. Выбрать надежный хостинг. Он должен быть быстрым и понятным, работать без перебоев и не мешать индексации. Один из лучших – beget.ru.
3. Использовать адаптивный дизайн. Если вы используете шаблон, смотрите, чтобы он хорошо отображался на планшетах, мобильниках и компьютерах. В нем также не должно быть никаких скрытых ссылок.
4. Создать Robots.txt. Этот файл показывает роботам, какие страницы можно, а какие нельзя индексировать. Настройка сложная, поэтому лучше доверить ее специалистам.
5. Создать карту сайта. Даже две: первая должна быть в формате .xml (для поисковых ботов), вторая - в .html (для людей). Сделать их легче. Для составления карт даже придуманы специальные плагины. Например, на Wordpress это WP Sitemap Page и небезызвестный опытным веб-мастерам Google XML Sitemaps от Arne Brachhold.
6. Составить семантическое ядро (СЯ) – это такой список из поисковых фраз, по которым в дальнейшем ваш сайт будут находить пользователи. В принципе, эту работу нужно проделать до регистрации домена и хостинга. И, естественно, еще до проверки индексации сайта в поисковиках.
7. Написать тексты с учетом слов из СЯ и оптимизировать картинки. Статьи следует писать оптимизированные, не забывая про новый алгоритм от "Яндекса" «Королев». Изображения до загрузки на ресурс желательно сжимать без потери качества. Сделать это можно с помощью специальных сервисов.
8. Прописать все важные мета-теги. В частности, Title (название статьи, длина – до 80 символов) и Description (краткое описание, длина – до 200 символов). В дескрипшен важно включить самое главное ключевое слово в разбавленном виде.
9. Оставить ссылки на авторитетных ресурсах (внешняя оптимизация!). Тут только 2 правила: сайт-донор должен быть действительно тематическим, а ссылка - вечной.
10. Создать группу для сайта в соц.сетях и размещать ссылки на новые посты там.
11. Подтвердить права на свой ресурс и поставить его в очередь на индексирование. Сделать это можно через панель веб-мастера Yandex или "Гугла".

Еще перед тем, как проверить индексацию сайта "Яндексом", нужно ускорить загрузку ресурса. Все рекомендации по тому, что для этого можно сделать, стоит смотреть на developers.google.com/speed/ или ином аналогичном ресурсе.

Что еще нужно сделать?

При создании сайта также важно отказаться от использования flash-файлов (на них действуют ограничения), неработающих внутренних ссылок (их следует периодически выявлять и устранять), лишних блоков и сведений. Всю второстепенные виджеты рекомендуется переместить к низу страницы, а информацию – спрятать от ботов через Robots.txt путем прописывания специальных тегов. И еще: выкладывать сайт на индексацию стоит только после окончания разработки и хотя бы небольшого наполнения материалом (все важные страницы + 20-30 уникальных и грамотных статей).

Чего делать точно не стоит?

Некоторые "умные" веб-мастера прибегают к использованию черных и серых инструментов SEO. В частности, они закупают тысячами ссылки, накручивают поведенческие факторы, размещают гостевые статьи и посты (Google за это сейчас наказывает!), распространяют спам на форумах и чужих блогах с ссылками на портал, размещают невидимые ссылки и ключевые слова на страницах своего сайта, автоматически создают большое количество видеороликов для его раскрутки и делают автоматический обмен ссылками. Если вы хотите, чтобы ваш сайт долго жил и индексировался поисковиками, никогда ничего не делайте из вышеперечисленного. Иначе бана и попадания под фильтры не избежать.

Как проверить индексацию сайта "Яндексом"?

Самый простой способ - зайти на страничку поисковика и ввести в окошечко запрос вида site:site.ru, где site.ru – это адрес вашего домена. Если странички ресурса есть в выдаче, они будут показаны. Второй метод – зайти на страничку https://webmaster.yandex.ru/ и перейти в раздел «Индексирование сайта» - «Страницы в поиске». Здесь вы сможете увидеть, какие страницы были включены, а какие исключены и почему. Проверка через Google осуществляется аналогичным способом. Еще можно использовать специальные онлайн-сервисы. Сейчас их очень много, перечислять все просто не имеет смысла.

Как ускорить обработку сайта ботами?

Если при проверке индексации сайта вы увидели, что страничек ресурса все еще нет в поисковиках, не переживайте. Обработку портала ботами можно ускорить. Для этого достаточно выполнить все рекомендации, приведенные выше. Плюс:

• добавить тексты со ссылками на ресурс в каталоги статей (выбирайте проверенные!);
• оставить ссылки на сервисах вопросов и ответов (осторожно, чтобы не посчитали за спам!);
• оставить комментарии в качественных блогах схожей тематики (они не должны быть заброшенными!);
• оставить ссылку на свой ресурс на популярном форуме (единственное «но» - ваш профиль должен быть тут прокачен, иначе линк удалят модераторы);
• поставить сквозную ссылку с одного своего блога на другой;
• использовать сервис «Переобход страниц» от "Яндекса" (в нем нужно указывать адреса тех страниц, которые, по вашему мнению, должны быть быстро проиндексированы ботами).

Кроме того, для быстрой раскрутки сайта можно использовать специальные сервисы. Из всех бесплатных сегодня лучшим считается SeoPult.

Можно ли запретить обработку?

Иногда требуется закрыть сайт от индексации. Например, при создании или первичном наполнении. Конечно, мы бы не рекомендовали этого делать, так как ресурс после будет хуже индексироваться (уже проверено!). Но если вам очень сильно требуется, знайте: сделать это можно через Robots.txt. В этом файле достаточно прописать такую инструкцию:

User-agent:

*Disallow: /

Сразу после этого все поисковики начнут обходить ваш сайт стороной. И, кстати, для сайта на Wordpress имеется еще одна возможность запретить индексирование – через панель управления. Нужно зайти в «Настройки» и поставить галочку напротив предложения «Попросить поисковые системы…» как на картинке.

В качестве заключения

Теперь вы знаете, как ускорить, запретить и проверить индексацию сайта "Яндексом" бесплатно. Однако если при всех ваших попытках и стараниях она либо замедлена, либо не происходит вовсе, обратите внимание на следующее: все ли правильно прописано в sitemap.xml или robots.txt, достаточно ли быстра загрузка ресурса, хорошо ли просматривается он на мобильных, не слишком ли часто возникают ошибки на сервисах. А также может ли бот попасть на портал и доступна ли ему вся размещенная информация. При исправлении подобных ошибок все обязательно наладится.