Сайт пропал из Яндекса: ТОП 3 возможных причины

Что делать если сайт пропал из поиска Яндекс? Прежде чем предпринимать попытки всё исправить, нужно найти причину. Вот почему ресурс перестаёт отображаться в поисковике в большинстве случаев:

• Из-за неправильных настроек файла robots.txt;
• Из-за закрытия с помощью тега noindex;
• Из-за недостаточного качества.

Давайте разберём эти причины подробнее.

Индексация закрыта в файле robots.txt

Robots.txt — это файл, который отвечает за открытие и закрытие всего сайта или каких-то его отдельных материалов для индексации. Сама индексация — это процесс сканирования сайта поисковыми роботами и добавление информации о нём в поисковик.

Если какие-то настройки сделаны неправильно, из результатов выдачи могут удалиться не только какие-то специально закрытые страницы (например, личные данные клиентов), но и другой важный контент. Плюс, возможна даже ситуация, когда весь сайт пропадёт из Яндекса.

Чтобы увидеть файл robots.txt, нужно ввести в строке браузера следующее: адрес-сайта.ru/robots.txt. Если ресурс полностью запрещён к показу в поиске, вы обнаружите директиву:

User-agent: *

Disallow: /

Также анализ файла можно увидеть в Яндекс.Вебмастере. Для этого нужно зайти в “Инструменты”, а потом в “Анализ robots.txt”. Там тоже может быть прописана директива, которую мы указали выше.

Если прокрутить ниже, можно проверить доступность для индексации отдельных страниц. Напротив закрытых будет находиться директива disallow.

Если закрыты только служебные материалы, которые и не должны были попасть в результаты поиска — всё хорошо. Если недоступен какой-то другой контент, предназначенный для пользователей, нужно поменять директиву с disallow на allow.

Контент закрыт тегом noindex

Тег noindex размещается в коде страницы сайта и помогает запретить индексацию какой-то её части или всего контента. Такой тег часто используют, чтобы:

• Повысить релевантность за счёт большей плотности ключевых слов. В этом случае исключают только часть контента без ключевиков.
• Не нарваться на пессимизацию от поисковых систем. Например, это может произойти из-за дублирования одинакового контента в разных местах сайта. Часто это бывает в интернет-магазинах, когда в каждой карточке товара есть одна и та же информация о доставке и оплате. В этом случае такой контент можно так же закрыть от индексации.
• Управлять информацией, которая попадает в сниппеты. Иногда сниппет формируется не за счёт title и description, а с помощью рандомного контента. В этом случае есть смысл закрыть от индексации ненужную информацию, которая не отображает тематику.
• Закрыть от поисковых роботов какие-то данные. Например, коды счётчиков.

Но если что-то пошло не так, недоступен может оказаться и нужный контент, из-за чего часть материалов ресурса пропадёт из выдачи.

Вот два способа, с помощью которых можно посмотреть, используется ли этот тег на конкретной странице, удалённой из поисковика:

• Нажмите правой кнопкой мыши в любом месте страницы, а потом выберите “Просмотр кода страницы”;
• Используйте горячие клавиши: Ctrl + U для Windows и Cmd + Alt + U для Mac.

Вам должен будет открыться примерно такой код:

Если вы увидите в коде такую строчку, значит весь контент закрыт от индексации:

<meta name="robots" content="noindex" />

Страница пропала из поисковика из-за недостаточного качества

Иногда материалы вылетают из поиска потому, что роботы считают их малополезными для пользователей. 

Чтобы проверить относится ли эта проблема к вашей ситуации, посмотрите на сайт через Вебмастер. Для этого зайдите в раздел “Индексирование”, дальше в “Страницы в поиске”, а потом в “Исключённые”. Там вы увидите все страницы, которые исключены из индексации. 

Те, у которых есть проблемы с контентом, будут отображены в списке “Малоценных или маловостребованных”. 

Если вы увидели в этом разделе одну или несколько страниц сайта, проверьте их качество вручную. Посмотрите:

• Читабельный ли текст;
• Отвечает ли он на запросы пользователей;
• Нет ли переспама ключевыми словами;
• Оформлен ли текст: есть ли абзацы, заголовки и подзаголовки, списки, форматирование и т.д.;
• Отражают ли подзаголовки содержание блоков;
• Описывают ли метатеги title и description реальное содержание материала;
• Не представлена ли какая-то важная часть текста в виде изображения и т.д.  

Если что-то из этого про вас, путь один — исправить все недочёты. После обновления поисковые роботы могут заново оценить страницу и всё-таки добавить её в поисковик.

А если что-то реально не представляет ценности для пользователя, стоит просто закрыть такой контент от индексации. Например, это могут быть страницы, которые:

• Носят технический характер;
• Полностью дублируют содержание других.

Итого

Если сайт пропал из поисковика, это влияет не только на трафик. Выпавшие из поиска страницы ещё и портят репутацию всего ресурса, а это может негативно повлиять на позиции всех остальных материалов. Поэтому за появлением таких страниц нужно внимательно следить.

Главный совет — периодически проверяйте вкладку “Исключённые” в Яндекс.Вебмастере. Так можно вовремя заметить удаление из поисковой системы, устранить ошибку и не терять часть трафика. Ведь по тем же причинам сайт может выпасть и из Google.