Ранее я говорил о методах позволяющих значительно ускорить индексацию сайта в поисковых системах. Но несмотря на это, в некоторых случаях просто необходимо закрывать какие-то определенные разделы своего сайта от индексации поисковиками. Что это за разделы?
Это служебные части ресурса. Это могут быть страницы профилей пользователей и регистраций, админская часть, различные формы для ввода информации и т.п. В некоторых случаях бывают секретные или скрытые страницы на сайте, которые не должны индексироваться системами поиска. Иногда нужно закрыть от поисковиков не всю страницу целиком, а лишь ее часть, к примеру, какой-то абзац текста либо ссылку.
Исходя из этого, лично я разделяю запрет на индексацию сайта на два типа – запрет индексации части страниц и запрет индексации всей страницы.
Запрет индексации сайта в файле robots.txt
Для начала рассмотрим закрытие на индексацию полной страницы сайта. Наилучшим для этого способом является, закрытие индексации страниц по средствам специального файла robots.txt. Его предназначение – указание инструкций для поисковых систем по индексации сайта. Делается он при помощи стандартного блокнота ОС Windows и сохраняется под именем robots с расширением txt. Здесь прописываются необходимые указания, после чего этот файл загружается в корневую папку вашего сайта. Для одного сайта создается только один файл robots.txt. Более подробно вы можете прочитать в разделе файл robots.txt, поэтому не хочу тратить свое время на то, что уже подробно описывал, единственное сделаю напоминание — как запретить индексацию с помощью robots.txt.
User-agent: *
Disallow: /file.html
Disallow: /papka/
Где, * — говорит о том, что данная инструкция распространяется на все поисковые системы
Disallow: /file.html – запрещает индексировать файл file.html
Disallow: /papka/ — запрещает индексировать все файлы находящиеся в папке papka.
Запрещаем индексацию сайта через мета-тег robots
Мета-тег robots дает нам возможность управлять индексацией нужной нам страницы сайта. В этом мета теге прописывается инструкция по управлению индексацией страницы для всех ботов-поисковиков. Здесь не получится указать для какого-то конкретного поискового бота, инструкцию. Данный тег располагается, как и все остальные, в заголовке документа между тегами <head> </head>. Формат записи следующий:
<meta name=»robots» content=»noindex, nofollow»>
В атрибуте content можно задать такие условия:
- index – допускает индексацию данной страницы сайта;
- noindex – не разрешает индексировать данную страницу сайта;
- follow – допускает к индексации ссылки размещенные на данной странице;
- nofollow – не допускает к индексации ссылки размещенные на данной странице;
- all – включает в себя оба параметра index и follow (разрешает индексировать все);
- none – включает nofollow и noindex (запрещает индексировать и ссылки и страницу).
Запрет индексации ссылки через инструкцию rel
Инструкция rel распространяется не на все поисковые системы. Точнее сказать не все ее учитывают. Здесь мы можем запретить индексировать ссылку Yahoo и Google. Что касается Яндекса – он ее игнорирует. Прописывается следующим образом:
<a href=http://simple.ru rel=»nofollow»>ссылка</a>
Данной конструкцией пользуются в основном в тех случаях, когда не желают передачу ссылочного веса ссылке, а так же PR на тот сайт, куда ведет эта ссылка.
Запрет индексации некоторых частей страницы при помощи тега <noindex>
При помощи тега мы можем запретить индексировать какую-то определенную часть страницы, при чем это может быть не только скрипты или ссылки, но и текст. Прописывается следующим образом:
<noindex>
здесь должна находиться часть страницы либо ссылка, которую вы хотите запретить к индексации.
</noindex>
В сравнении с инструкцией rel, на которую обращают внимание Яху и Гугл, тег но индекс применяется в тех случаях, когда необходимо запретить индексацию сайта для Рамблер и Яндекс. Чаще всего таким тегом закрываются ненужные для индексации ссылки и коды счетчиков рейтингов.