Атрибуты noindex и nofollow: как они помогают бороться с дублями и скрывать от поисковиков нежелательный контент

01 апреля 2022 18:29 Обновлено 30 июля 2022 14:28

Noindex и nofollow помогают контролировать SEO-продвижение сайта. С их помощью в выдаче поисковика показываются только нужные страницы, а лишние ссылки никак не влияют на вес ресурса. Выясняем для чего ещё они нужны, как они работают и как правильно их прописывать.


Содержание статьи:

noindex и nofollow

Зачем нужны директивы (или атрибуты) noindex и nofollow?

Это важные элементы разметки страницы. Вообще разметка отвечает за то, как сайт выглядят для

пользователя: с её помощью помечают заголовки, выделяют текст жирным, разбивают его на абзацы и т.д. Но атрибуты, о которых мы говорим в этой статье, не относятся к внешнему виду ресурса. Пользователи вообще не замечают есть ли они, но зато их наличие отлично считывают поисковые роботы.

Что noindex и nofollow значат для SEO-продвижения? В целом эти атрибуты нужны, чтобы:

  • Повышать позиции ресурса в выдаче;

  • Избегать санкций от поисковиков;

  • Бороться с дублями страниц.

Но у каждой из этих директив есть и свои специфические функции. О них поговорим дальше.

Для чего используют директиву noindex?

Это атрибут, который закрывает страницу от индексации. Причём необязательно скрывать весь контент, можно запретить индексацию только его части. Это может быть полезно, если, например, вы не хотите, чтобы в поиск попадал постоянно повторяющийся, но важный текст, который обязательно должен быть на сайте. Но здесь вас поймёт только Яндекс. Google не умеет распознавать такие тонкости. Он понимает эту директиву, но только в смысле полного запрета индексации.

Какой контент можно скрыть таким способом?

Вообще любой. Если скрывают целую страницу, скорее всего, это дубль какой-то другой странички сайта. А вот если речь идёт про отдельные части контента, то это могут быть:

  • Номера телефонов и адреса, которые не относятся к компании или не являются основными;

  • Точные цитаты, отрывки из законов и всё, что может понизить уникальность;

  • Текст, который слишком часто повторяется (например, форма для обратной связи, контакты и т.д.);

  • Служебный текст, которому нечего делать в выдаче (например, код счётчика или пикселя) и т.д.

Для чего используют директиву noindex

Как его правильно использовать?

Атрибут прописывается в теге head в коде страницы. Если вы хотите запретить индексировать весь контент, то можно добавить директиву через метатег. Тогда код будет выглядеть так:

<meta name=”robots” content=”noindex”/>

Также можно заблокировать индексацию только для конкретного поисковика. Тогда вместо “robots” в коде нужно прописать “googlebot” или “yandexbot”.

Если нужно запретить индексировать конкретный кусок текста, то noindex используется уже в качестве тега и прописывается не в head, а в body. Внутрь себя он заключает часть текста, которую нужно скрыть от поисковиков. То же самое и в случае, если в него надо обернуть какой-то код (например, счётчик метрики). Выглядит это примерно так:

<noindex> текст или код </noindex>

В случае с конкретными кусками текста или кода мы рекомендуем немного модифицировать тег до <!-noindex->. Это поможет избежать ошибок, которые часто возникают у роботов при чтении этого тега.

Закрыть от индексации ссылку с помощью этого тега не получится. Но её можно немного припрятать от поисковиков, о чём мы и поговорим дальше. Именно полностью закрыть ссылку от всех поисковых роботов получится только через работу с JavaScript, а не с HTML-разметкой. Так что сделать это уже сложнее.

Для чего используют директиву nofollow?

Она отвечает за то, чтобы запретить поисковым роботам переходить по ссылкам на странице. Её можно распространить как на всю страничку, так и добавить рядом с конкретным URL. То есть в отличие от noindex, nofollow применяется только для ссылок, а не для любого контента.

Зачем это может понадобиться? Дело в том, что ссылки, которые публикуются на странице, могут передавать ей свой вес. А если ресурс, на который она ведёт, не очень качественный, то это может негативно повлиять и на сайт, где она расположена. 

Например, в комментариях к статье кто-то решил разместить ссылку, за качество которой вы не можете отвечать. Тогда есть смысл закрыть её тегом nofollow. Современные CMS учли этот момент и к любым URL, которые добавляют пользователи, автоматически приписывают эту директиву.

Для чего используют директиву nofollow

Ещё один вариант использования — выделение платных ссылок. Ведь если на вашем ресурсе их слишком много, то поисковые роботы могут пессимизировать его в выдаче.

Как правильно вставить атрибут в код?

Как и в прошлом примере, его можно прописать в head через тег meta:

<meta name=”robots” content=”nofollow”/>

Это будет значить, что поисковым роботам нельзя переходить по любым ссылкам на странице.

Если нужно запретить переход по одному конкретному URL, то он прописывается уже в body:

<a href=”URL” rel=”nofollow”> Текст гиперссылки </a>

Для ссылок, которые люди могут оставлять в комментариях, Google также создал отдельный атрибут (rel=”ugc”). 

Обе директивы также можно использовать вместе. В этом случае код будет выглядеть примерно так:

<noindex><a rel=”nofollow” href=”URL”> Текст гиперссылки </a></noindex>

Тогда Яндекс вообще не увидит эту ссылку (ведь вы закрыли её индексацию), а Google увидит (потому что не понимает запрета для части контента), но просто не перейдёт по ней.

Плагины для CMS

Если ваш сайт сделан на CMS, вручную редактировать атрибуты каждой страницы и URL не нужно. Для этого есть специальные плагины. Например: 

  • Для ресурсов на Wordpress это Rel Nofollow, Noindex Links, noindex SEO и т.д.

  • Для Битрикс есть Nofollow, 9 в 1 SEO-мастер, Расширенный SEO-модуль: управление индексацией сайта и т.д.

Noindex VS robots.txt: в чём отличие правок в коде от запрета индексирования в файле robots.txt?

Помимо способа, который мы рассмотрели выше, для того чтобы скрыть из выдачи лишнюю информацию, часто используют директиву disallow в файле robots.txt. Этот файл в принципе отвечает за индексацию того или иного контента. В чём разница между этими двумя подходами?

Noindex VS robots.txt: в чём отличие правок в коде от запрета индексирования в файле robots.txt

Результат у обоих методов один — контент будет закрыт от индексации. Выбор способа будет зависеть от того, какие страницы вам нужно исключить из выдачи:

  • Если они ещё не проиндексированы поисковиком — нет никакой разницы, какой способ использовать. Но для служебной информации (вроде карты сайта, личных кабинетов и т.д.) чаще применяются корректировки в файле robots.txt;

  • Если они уже проиндексированы и есть в выдаче, то лучше использовать noindex. Так ваши странички будут быстрее исключены из выдачи. 

При этом одновременно оба способа лучше не использовать. Например, вы решаете добавить запрещающий атрибут и для надёжности тут же закрываете контент от индексирования ещё и в robots.txt. В этом случае поисковым роботам будет полностью закрыт доступ к странице и они не смогут прочитать изменения, которые вы добавили в её код. А значит если какой-то другой ресурс сошлётся на эту страничку, она снова начнёт индексироваться.

Распространённые ошибки в работе с директивами

Про то, что одновременно использовать наши атрибуты вместе с disallow в robots.txt не стоит, мы уже упомянули. Но вот ещё несколько частых ошибок:

  • Одновременно применять теги nofollow и canonical. Они противоречат друг другу.

  • Всегда прописывать сразу два атрибута на всякий случай. Это лишняя перестраховка, которая не добавит вам очков, а только настроит поисковые системы против вас.

  • Забывать о том, что Google и Яндекс понимают эти теги по-разному. Например, если вы закрываете часть контента тегом noindex, то Google по-прежнему будет его видеть. Об этом всегда нужно помнить.

  • Просто не очень внимательно относиться к тегам. Иногда сайт закрывают от индексации на время проведения каких-то работ. Или подключают плагин для SEO и по ошибке запрещают доступ к сайту поисковым роботам. В результате ресурс не продвигается, а владелец не понимает в чём дело. Ну или в Яндекс.Вебмастере всплывает ошибка “URL запрещён к индексированию тегом noindex”, а он не понимает, как с ней бороться. В этом случае нужно найти источник проблемы и поменять настройки, а потом отправить сайт на повторную проверку в Вебмастере.


0 комментариев
* Все коментарии проходят модерацию, оставляя коментарий вы соглашаетесь с правилами нашего сайта. Коментарии публикуются в течении 1 часа
Наши услуги по теме:
Размещение рекламы в интернете с оплатой за переход
Продвижение сайта
на лидирующие позиции в поиске
Рекомендуем прочитать
Скорость загрузки сайта может влиять на эффективность SEO-продвижения, рекламы и других инструментов. Как оценить скорость сайта? Когда пользователи всё-таки готовы подождать?
«Ура, заработало!» (с) Как продвигать статьи и посты, получая хорошую отдачу от контент-маркетинга
Полезное видео каждую неделю. Подписывайся!
Вернуться к оглавлению