Индексация сайта: зачем и как её контролировать

Нам часто задают вопрос: “Как узнать проиндексирован ли сайт в Яндексе?”. На этом же месте может быть и Google, и просто поисковые системы в целом. Ведь иногда ресурс подготовлен к продвижению, открыт для индексации, но трафика так и нет. В этом случае непонятно что делать: просто ещё немного подождать или трафик так и не придёт, потому что поисковая система просто не проиндексировала сайт? Давайте разбираться, как всё это работает.

Что такое индексация и зачем её контролировать?

Индексация — это процесс, во время которого поисковые системы добавляют в свою базу информацию о конкретном сайте. Новый ресурс, который создали только вчера, не будет в тот же день показываться в поисковиках. Сначала поисковые роботы должны зайти на него, разобраться, что можно, а что нельзя сканировать, собрать информацию, оценить её и только потом представить пользователям. И так происходит всегда: даже если ресурс существует давно, при добавлении новых страниц и разделов все они проходят через индексацию.

Полностью понять, как проходит индексация, сложно. Ни Яндекс, ни Google не раскрывают точных алгоритмов. 

Сайт может как попасть в индекс, так и вылететь из него. Это значит, что ни один пользователь не увидит его в поисковой выдаче. А следовательно трафик на ресурс заметно снизится и потянет за собой количество клиентов. Вот почему важно контролировать индексацию не только на этапе создания, но и в остальное время. Ведь страницы, которые ещё вчера индексировались в поиске, сегодня уже могут пропасть из него. Причин, по которым такое может произойти, несколько. Некоторые из них мы рассмотрим в последнем разделе.

Проверка индексации сайта

Теперь давайте разберёмся, как проверить, верно ли проиндексирован ваш сайт. Основные способы — ниже. 

1. Проверка через Яндекс.Вебмастер

   Проиндексирован ли ресурс в Яндексе, можно проверить в панели Вебмастера. Для этого в левой колонке выберите раздел “Индексирование”, а потом перейдите на “Страницы в поиске”. 

   
   

   В разделе “Все страницы” вы увидите все проиндексированные материалы. В исключённых можно найти страницы которые, наоборот, не индексируется в Яндексе.

   
   

   Также общее количество страниц и число тех, что находятся в поиске, можно увидеть в списке “Мои сайты”.

2. Проверка через Google Search Console

   Как посмотреть индексацию сайта в Google? Именно через этот инструмент. Заходим в раздел “Индекс”, а потом на вкладку “Страницы”. Там мы увидим количество проиндексированных и не проиндексированных материалов. Это число примерное, потому что что-что роботы могли ещё не успеть просканировать.

   
   

   Также ниже можно найти причины, по которым некоторых URL нет в индексе.

   
   

   Индексацию отдельных страниц можно проверить в разделе “Проверка URL”. В строку поиска нужно ввести адрес, а система покажет, есть ли он в индексе. Также если вы недавно вносили какие-то изменения, здесь можно запросить повторное сканирование, чтобы информация в базе поисковой системы обновилась быстрее.

   
   

3. Проверка с помощью операторов поисковой выдачи

   Операторы — это специальные слова, которые помогают выполнить какие-то функции. В нашем случае пригодятся поисковые операторы, которые уточнят результаты выдачи. Их нужно подставить перед началом ссылки на страницу, отделить от неё двоеточием и ввести получившуюся комбинацию в строку поиска. То есть выглядит это так: “оператор: ссылка”. Узнавать индексацию сайта в Яндексе и Google в этом случае придётся отдельно.

   
   

   Для нужных нам целей существуют три оператора:

   • Site. Позволяет увидеть, сколько страниц проиндексировано.  Количество результатов в выдаче по запросу “site: ваш URL”, это и есть число страниц в индексе. Но этот способ не всегда показывает точные данные. Например, если результатов больше двух тысяч, то может возникнуть большая погрешность.
   • Url. Помогает понять, показывается ли конкретная страница сайта в поисковой выдаче. Если она проиндексирована, по такому запросу найдётся только один результат. 
   • Host. Можно использовать, чтобы найти страницы только на конкретном домене. То есть если у вас есть поддомены для других городов, для проверки есть смысл воспользоваться именно этим методом.
4. Проверить индексацию с помощью инструментов для SEO

   В программах, которые SEO-специалисты используют для работы, также есть функции для проверки индексации. Например, это можно сделать через инструмент “Проверка индексации” от PR-CY. В поле вводится список страниц, которые нужно проверить, а потом выбирается поисковая система. После проверки программа просто показывает, есть URL в поиске или нет. Бесплатно можно проверить список до 10 ссылок, в платном до 500.

   
   

   Ещё один пример — сервис Пиксель Тулс. На нём есть быстрый аудит сайта, где можно ввести нужный URL и посмотреть, сколько страниц проиндексировано в Яндексе и в Google с учётом поддоменов и без них. Сервис платный, но помимо этой там есть ещё много полезных для SEO функций.

5. Проверка с помощью расширений для браузера

   Также для быстрой проверки индексации существуют расширения, которые устанавливаются в браузер. Для примера разберём два из них.

   Первое расширение — SEO-tools. В нём есть много инструментов для контроля продвижения ресурса, в том числе проверка индексации. По сути сервис просто подставляет за вас операторы, о которых мы говорили выше, так что вам не нужно вбивать их вручную. Работает это так: вы заходите на необходимый адрес, открываете расширение, нажимаете на нужный значок в разделе индексации и система за вас подставляет к ссылке нужный оператор и перебрасывает вас в выдачу. 

   
   

   Ещё одно расширение называется ”SEO-анализ сайта от Be1.ru”. Здесь опять заходим на нужную страницу, открываем расширение и проматываем вниз. Появится раздел “Видимость страницы”, где будут указаны запросы, по которым она отображается в поиске. Соответственно, если блок будет пустым, она не проиндексирована.

   
   

Почему сайт или отдельная страница могут отсутствовать в индексе?

С тем, как проверить индексацию сайта, разобрались. Теперь давайте посмотрим, почему он всё-таки может быть не проиндексирован.

1. Индексация запрещена в файле robots.txt

   Robots.txt — это специальный файл, который отвечает за разрешение или запрет индексации. С его помощью можно закрыть весь ресурс, например, если вы вносите на него глобальные изменения и не хотите, чтобы он пока появлялся в поиске. Или можно запретить поисковым роботам заходить в разделы, которые содержат техническую или конфиденциальную информацию, не предназначенную для того, чтобы появляться в открытом доступе. 

   Но иногда что-то идёт не так и закрытыми оказываются части сайта, которые вы всё-таки хотели бы продвигать в поиске. Чтобы посмотреть, не относится ли эта ситуация к вам, можно зайти в файл robots.txt (он находится в корневой папке сайта) и посмотреть, что именно в нём закрыто от индексации. Также данные об этом можно найти в том же Яндекс.Вебмастере или Google Search Console. Рядом со списком проиндексированных страниц есть список страниц, которые исключены из индекса в этом файле.

2. Индексирование закрыто метатегом noindex

   Тег noindex используется, чтобы скрыть отдельные страницы или какую-то часть контента на них. Например, в карточках товаров в интернет-магазинах часто бывает повторяющаяся информация про доставку и оплату, что может плохо повлиять на общую уникальность контента. Чтобы этого избежать, одинаковый текст скрывают с помощью тега noindex.

   Здесь опять же может возникнуть какая-то ошибка, при которой скрытым окажется не то, что нужно. Чтобы это выяснить, нужно зайти в код страницы и найти в нём тег noindex. Если его там нет, значит этот вариант не объясняет отсутствие индексации.

3. Запрет в файле .htaccess

   Это ещё один полезный файл, который отвечает за работу сервера. В нём также можно прописать директивы, которые запретят индексирование. Файл .htaccess, как и robots.txt находится в корневой папке.

4. Неправильные настройки CMS

   Если ваш ресурс управляется с помощью CMS, то есть шанс, что индексирование запрещено в админпанели. В некоторых CMS также можно вносить правки в файл robots.txt. Так что даже если вы никогда не видели этот файл, возможно, правки в него вносились через админпанель. Также в некоторых системах запрет индексации для новых ресурсов стоит по умолчанию, так что его нужно просто отключить.

5. Сайт новый и/или слишком большой

   Иногда бывает так, что вы только создали свежий ресурс или добавили какой-то новый раздел, и теперь с нетерпением проверяете, проиндексирован ли сайт, но этого всё не происходит. Индексация занимает довольно много времени, поэтому роботы просто могли ещё не успеть проанализировать ваш ресурс. В целом на полную индексацию среднего сайта понадобится до месяца, а если ресурс крупный — то ещё больше.

   Помочь роботам быстрее собрать информацию поможет наличие карты сайта. Это специальная страница, где подробно описана структура ресурса. Таким образом робот ничего не упустит и отсканирует все важные элементы. Карту можно сравнить с оглавлением: искать информацию по нему намного легче, чем просто листая книгу. Карту нужно постоянно обновлять, чтобы данные не устаревали. Либо, если у вас часто появляется новый контент, есть смысл сделать её динамичной. Иначе можно только запутать поисковых роботов и навредить массовой индексации.

   Также существует понятие краулингового бюджета. Это количество страниц, которое поисковый робот может отсканировать за одно посещение. У каждого сайта бюджет свой, а формула его расчёта точно неизвестна. Рекомендации по тому, как оптимизировать краулинговый бюджет и сделать так, чтобы роботы быстрее анализировали ресурс, мы дадим в последнем разделе статьи. 

6. На вас наложили санкции

   За использование запрещённых методов продвижения поисковые системы могут накладывать на ресурсы санкции. Одна из таких мер — снижение количества отображаемых в выдаче страниц. 

   Проблема здесь в том, что во многих ситуациях нельзя точно сказать, есть ли на вас санкции. В некоторых случаях вы можете получить письмо с уведомлением от поисковой системы, а в некоторых ресурс просто резко перестанет отображаться в выдаче. Но если вы пользовались скрытым контентом, накруткой поведенческих факторов или другими приёмами чёрного SEO, точно есть смысл рассматривать санкции в качестве причины выпадения из индекса. Также часто в этом случае сайт может продолжать индексироваться в одном поисковике, но отсутствовать в другом. 

7. Сайт взрослый, но на нём редко обновляется контент

   Если контент публикуется редко, со временем поисковые роботы понимают, что слишком часто посещать ресурс не имеет смысла, ведь ничего нового на нём не появляется. Это приводит к тому, что при обновлении роботы могут нескоро зайти к вам, поэтому сканирования приходится ждать долго. 

Как сделать так, чтобы страницы сайта быстрее появлялись в индексе?

Вот несколько основных советов:

• Регулярно обновлять контент. Например, можно завести раздел блога или пополнять ассортимент новыми товарами (для интернет-магазинов).
• Подготовить карту сайта (если её ещё нет). Если контент обновляется очень часто, сделать карту динамической. 
• Работать со скоростью загрузки. Всё логично: чем быстрее грузится ваш сайт, тем быстрее роботы могут его отсканировать.
• Избавиться от дублей страниц. Если краулинговый бюджет тратится на сканирование одних и тех же дублей, индексацию действительно важного контента можно ждать очень долго.
• Устранить ненужные редиректы, битые ссылки и мусорные страницы. На них тоже бесполезно тратится краулинговый бюджет. Ведь роботы переходят на несуществующие страницы и сканируют бесполезный контент.
• Настроить перелинковку. Если все страницы связаны между собой внутренними ссылками, роботам также проще просканировать их. Это ещё одно хорошее дополнение к карте сайта.
• Принудительно отправлять на индексирование. В Google это легко сделать через Search Console.