Атрибуты noindex и nofollow: как они помогают бороться с дублями и скрывать от поисковиков нежелательный контент

Зачем нужны директивы (или атрибуты) noindex и nofollow?

Это важные элементы разметки страницы. Вообще разметка отвечает за то, как сайт выглядят для

пользователя: с её помощью помечают заголовки, выделяют текст жирным, разбивают его на абзацы и т.д. Но атрибуты, о которых мы говорим в этой статье, не относятся к внешнему виду ресурса. Пользователи вообще не замечают есть ли они, но зато их наличие отлично считывают поисковые роботы.

Что noindex и nofollow значат для SEO-продвижения? В целом эти атрибуты нужны, чтобы:

• Повышать позиции ресурса в выдаче;

• Избегать санкций от поисковиков;

• Бороться с дублями страниц.

Но у каждой из этих директив есть и свои специфические функции. О них поговорим дальше.

Для чего используют директиву noindex?

Это атрибут, который закрывает страницу от индексации. Причём необязательно скрывать весь контент, можно запретить индексацию только его части. Это может быть полезно, если, например, вы не хотите, чтобы в поиск попадал постоянно повторяющийся, но важный текст, который обязательно должен быть на сайте. Но здесь вас поймёт только Яндекс. Google не умеет распознавать такие тонкости. Он понимает эту директиву, но только в смысле полного запрета индексации.

Какой контент можно скрыть таким способом?

Вообще любой. Если скрывают целую страницу, скорее всего, это дубль какой-то другой странички сайта. А вот если речь идёт про отдельные части контента, то это могут быть:

• Номера телефонов и адреса, которые не относятся к компании или не являются основными;

• Точные цитаты, отрывки из законов и всё, что может понизить уникальность;

• Текст, который слишком часто повторяется (например, форма для обратной связи, контакты и т.д.);

• Служебный текст, которому нечего делать в выдаче (например, код счётчика или пикселя) и т.д.

Как его правильно использовать?

Атрибут прописывается в теге head в коде страницы. Если вы хотите запретить индексировать весь контент, то можно добавить директиву через метатег. Тогда код будет выглядеть так:

<meta name=”robots” content=”noindex”/>

Также можно заблокировать индексацию только для конкретного поисковика. Тогда вместо “robots” в коде нужно прописать “googlebot” или “yandexbot”.

Если нужно запретить индексировать конкретный кусок текста, то noindex используется уже в качестве тега и прописывается не в head, а в body. Внутрь себя он заключает часть текста, которую нужно скрыть от поисковиков. То же самое и в случае, если в него надо обернуть какой-то код (например, счётчик метрики). Выглядит это примерно так:

<noindex> текст или код </noindex>

В случае с конкретными кусками текста или кода мы рекомендуем немного модифицировать тег до <!-noindex->. Это поможет избежать ошибок, которые часто возникают у роботов при чтении этого тега.

Закрыть от индексации ссылку с помощью этого тега не получится. Но её можно немного припрятать от поисковиков, о чём мы и поговорим дальше. Именно полностью закрыть ссылку от всех поисковых роботов получится только через работу с JavaScript, а не с HTML-разметкой. Так что сделать это уже сложнее.

Для чего используют директиву nofollow?

Она отвечает за то, чтобы запретить поисковым роботам переходить по ссылкам на странице. Её можно распространить как на всю страничку, так и добавить рядом с конкретным URL. То есть в отличие от noindex, nofollow применяется только для ссылок, а не для любого контента.

Зачем это может понадобиться? Дело в том, что ссылки, которые публикуются на странице, могут передавать ей свой вес. А если ресурс, на который она ведёт, не очень качественный, то это может негативно повлиять и на сайт, где она расположена. 

Например, в комментариях к статье кто-то решил разместить ссылку, за качество которой вы не можете отвечать. Тогда есть смысл закрыть её тегом nofollow. Современные CMS учли этот момент и к любым URL, которые добавляют пользователи, автоматически приписывают эту директиву.

Ещё один вариант использования — выделение платных ссылок. Ведь если на вашем ресурсе их слишком много, то поисковые роботы могут пессимизировать его в выдаче.

Как правильно вставить атрибут в код?

Как и в прошлом примере, его можно прописать в head через тег meta:

<meta name=”robots” content=”nofollow”/>

Это будет значить, что поисковым роботам нельзя переходить по любым ссылкам на странице.

Если нужно запретить переход по одному конкретному URL, то он прописывается уже в body:

<a href=”URL” rel=”nofollow”> Текст гиперссылки </a>

Для ссылок, которые люди могут оставлять в комментариях, Google также создал отдельный атрибут (rel=”ugc”). 

Обе директивы также можно использовать вместе. В этом случае код будет выглядеть примерно так:

<noindex><a rel=”nofollow” href=”URL”> Текст гиперссылки </a></noindex>

Тогда Яндекс вообще не увидит эту ссылку (ведь вы закрыли её индексацию), а Google увидит (потому что не понимает запрета для части контента), но просто не перейдёт по ней.

Плагины для CMS

Если ваш сайт сделан на CMS, вручную редактировать атрибуты каждой страницы и URL не нужно. Для этого есть специальные плагины. Например: 

• Для ресурсов на Wordpress это Rel Nofollow, Noindex Links, noindex SEO и т.д.

• Для Битрикс есть Nofollow, 9 в 1 SEO-мастер, Расширенный SEO-модуль: управление индексацией сайта и т.д.