Nofollow html описание. Когда не обойтись без noindex и nofollow. Тег. Значение и условия применения

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Noindex - тэг-указатель для поисковых систем (Яндекс и Rambler), предупреждающий, что часть веб-страницы не нужно индексировать.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

В чем отличие между noindex и nofollow

Первое существенное отличие их в том, что первый был виден ранее для Google, а второй - только для Яндекса и Rambler. В настоящее время Яндекс также научился распознавать Ноуфоллоу, который работает только для ссылок, а Ноуиндекс - для любого кода сайта.

Применение Nofollow не превращает ссылку в невидимую, а всего лишь указывает, что по ней не нужно идти и индексировать документ, на который она ведет. Поисковый робот индексирует эту гиперссылку, но вес с сайта не передается, если она ведет на чужой ресурс. Работает этот атрибут для всех поисковиков.

Что касается тега Noindex, то с ним работает только Яндекс. Гугл же просто проигнорирует его. Использовать его нужно в тех случаях, когда вы хотите закрыть какой-то участок страницы - текст, картинку или ссылку - от индексации. Поисковик контент распознает, но впоследствии выкидывает из индекса. Эта мера установлена для полного анализа страницы и процедуры наложения возможных санкций за нарушения.

Для чего нужен Noindex

• Закрывается ненужная/неуникальная информация, что улучшает релевантность страницы, потому что увеличивается плотность ключевых фраз, соответствие тематике, уникальность.
• Прячутся сквозные блоки и гиперссылки, наличие которых может приводить к пессимизации.
• Скрывается личная и служебная информация, если вы не хотите, чтобы она легко находилась через поиск.

Для чего нужен Nofollow

• Закрытие лишних веб-ссылок.
• Сохранение веса страницы неизменным.
• Распределение определенного веса по ссылкам.

Как использовать noindex и nofollow Тэг Noindex для любого контента применяется так :

текст, который надо скрыть , и еще текст.

При работе с Ноиндекс существует вероятность того, что снизится валидность кода, так как данный тэг знает только российский поисковик. Поэтому рекомендуется следующий вариант написания:

.

Весь текст, который надо скрыть.

При этом другие поисковики просто его пропустят, и валидность кода останется неизменной.

Атрибут Nofollow для ссылок применяется

При этом анкор попадает в индекс, но поисковик по веб-ссылке не идет, вес на странице остается.

Если на странице слишком много Нофоллоу, то это может негативно сказаться на лояльности поисковиков.

Совместное использование

Для того чтобы закрыть и текстовую часть, и гиперссылку, следует придерживаться такого написания:

Весь текст, который надо скрыть анкор , и еще текст

Варианты правильного использования Noindex и Nofollow для запрета индексации документа в целом

Тег и атрибут, все время ходят “за ручку”, и часто их применяют вместе. Они могут применяться в meta name=robots документа для указания рекомендаций по его индексации и переходу по веб-ссылкам. Указание на запрет индексации необходимо, если обнаружены дубли страниц, Или в сети появилась конфиденциальная или устаревшая информация, а другим способом страницы убрать нельзя.

В случае, если вы хотите закрыть всю страницу от индексации и запретить учет располагающихся на ней ссылок, необходимо указать в метаданных страницы - следующее:

Ноуиндекс создает команду Яндексу не индексировать контент на странице, но робот ходит по ее веб-ссылкам. Поэтому дополнительный Ноуфоллоу указывает по ним на не ходить. Данное указание воспринимают как Яндекс, так и Google.

Что касается удаления документа из индекса Google, то поисковиком предусмотрен альтернативный метод: запись X-Robots-Tag: noindex, nofollow. Данное указание закрепляется в http-заголовках, не видимых в коде страницы.

Рассказываем о разнице между Nofollow и Noindex, как их правильно использовать для ссылок и скрытия контента на сайте.

Всегда следите за наличием рассмотренных в статье тегов и атрибутов в нужных местах, чтобы получать именно тот результат, которого вы ожидаете.

Здравствуйте, уважаемые читатели блога сайт. Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы nofollow.

Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при его использовании rel nofollow и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.

Какое влияние оказывают rel nofollow и тег noindex

Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил, начиная с 2010 года, свое отношение к nofollow (он стал его учитывать).

Раньше зеркало рунета его игнорировало, но теперь, как видно из скриншота снятого на этой странице хелпа, данный атрибут работает и учитывается.

Тег же noindex, который Яндекс ввел в оборот единолично и который до некоторых пор являлся единственной альтернативой нофоллоу, сейчас никак не влияет на учет закрытой им ссылки.

Но с помощью него по-прежнему можно закрывать от индексации отдельные фрагменты вебстраницы. Этот тэг является парным и учитываться поиском не будет все, что попало между его открывающим и закрывающим элементом.

Т.к. ноиндекс был чисто нашим местечковым изобретением, то, естественно, что он не был включен в реестр разрешенных тегов текущей версии языка Html 4.01 и валидатор на него по-прежнему ругается.

Во избежании этого можно использовать его в качестве , как это было показано на скриншоте выше. В этом случае , естественно, ругаться не будет, ибо в комментариях можно писать все, что угодно.

текст, индексирование которого нужно запретить

Яндекс пишет на своей странице хелпа, что noindex и nofollow следует интерпретировать точно так же, как и аналогичные значения, которые используются в .

Т.е. нофоллоу запрещает переход роботу поиска по данной ссылке, а ноиндекс запрещает добавлять заключенный в нем фрагмент текста в индекс.

Google так вообще никогда не учитывал noindex и, естественно, его с успехом игнорирует, равно как и любой другой поисковик кроме Яндекса. Изменилось отношение к подсчету статического веса на страницах, где находятся . Раньше их можно было вообще не учитывать, однако сейчас все стало немного сложнее и печальнее.

Но рассказать обо всем в двух словах — это не наш метод. Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать сложившееся положение. Да, сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему. Заранее спасибо всем комментаторам, ибо в споре рождается истина.

Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации гиперссылки для поисковых систем (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса, но об этом поговорим чуть позже).

Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Гуглу проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо запросу ( вам в помощь) оптимизаторы стараются закупить как можно больше бэклинков с текстами (анкорами), содержащими из того запроса, по которому продвигается данная страница.

В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» открывался ресурс тогдашнего президента Америки Буша младшего. Что примечательно, на самом ресурсе вообще не встречались данные ключевые слова, но зато на него была проставлена гигантская ссылочная масса с этим текстом (анкором), в результате чего вышел такой казус.

Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование и нужно, чтобы и на самом портале Буша встречалась эта фраза, что маловероятно.

Но на этом роль ссылок в поисковом продвижении не заканчивается, ибо алгоритмы поиска в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес . Возможно, что разные системы рассчитывают его чуть по разному, но суть остается не измененной — статвес передается странице только по гиперссылке и при этом не учитывается ее анкор.

Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации) имеет изначальный минимальный статический вес (), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что он передается не только внешними, но и внутренними ссылками.

Причем документ, ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой статический вес (pr для Google или для Яндекса), который целиком и полностью зависит только от количества и весомости входящих на нее гиперссылок. Под последним я подразумеваю собственный статвес страниц доноров (доноры — те, откуда проставлены беклинки на ваш документ, который в этом случае выступает акцептором).

Как закрыть от индексации внешние ссылки

Помните, в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.

Каждый документ на сайте можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние гиперссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на другие документы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки).

Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса). Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа).

Теперь смотрите внимательно. Допусти, что у нас с одного документа проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате максимальный статвес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних документов, а одна пятая уйдет по внешней.

А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш проект).

Тогда максимальный вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним ссылкам документа получить по одной четверти, а не по одной пятой максимального веса, что способна отдать данная вебстраница.

Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех документа, например, со ), то суммарный прирост статвеса будет ощутимым. А он ведь напрямую влияет на положение вашего ресурса в выдаче Яндекса и Гугла при ранжировании (естественно, при прочих равных условиях оптимизации).

Думаю, что с вопросом, зачем закрывать внешние гиперссылки от индексации, мы разобрались и теперь осталось только выяснить, а как это сделать? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут (для Google), например, так:

Внешний ресурс

В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, . При его использовании, если в тег гиперссылки прописать специальный класс, она останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.

Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько большее его значение, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас все стало очень и очень проблемно.

Это касается только удержания статвеса на сайте. Тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.

Итак, вернемся к тому, что Google изменил алгоритм работы — теперь по ссылке, в которую вставлен этот атрибут, статический вес на документ передаваться не будет, но в то же время это не увеличит долю веса , передаваемого на внутренние страницы, по проставленным с данного документа внутренним гиперссылкам.

Если вернуться к нашему примеру с бассейном и трубами, то ситуация с , которая была до нововведения, может быть представлена как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).

А вот текущая ситуация выглядит, как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса .

Как Яндекс учитывает rel nofollow и noindex

Это мы все говорили за Гугл, а как обстоит ситуация с использованием для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу.

Но похоже, что зеркало рунета, после того как стало учитывать rel nofollow в тегах гиперссылок, снял с noindex всякое влияние на запрет индексации ссылок.

Теперь noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать его для ссылок, то он просто запретит этим поисковикам индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статвес по-прежнему будут учитываться и браться в расчет.

Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы у старого Google или же сразу взял на вооружение переделанный алгоритм расчета? Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.

Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки веса с сайта в пустоту.

По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье приведенной в начале публикации, но вот с отдельно взятыми ссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.

Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс, если еще и не научился, скоро обязательно научится. В связи с этим вообще не понятно как быть с бэклинками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их в нофоллоу), либо на ресурсы комментаторов или счетчиков (в случае отказа от его использования).

Некоторые вебмастера, кстати, используют в комментариях external nofollow , хотя это тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута target="_blank", который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.

Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в Гугле, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.

Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться по FTP и открыть на редактирование файл comments.php из папки с используемой вами темы Вордпресс. В нем вам нужно найти место, где прописан следующий кусочек кода:

и заменить его на чуть измененный вариант:

А так же для того, чтобы убрать из формы добавления нового комментария строчку для ввода URL, вам нужно будет удалить подобный участок кода: