Как закрыть сайт от индексации

На стадиях создания или редизайна сайта случаются ситуации, в которых не рекомендуется пускать поисковых роботов на интернет-сайт или же его копию, в этом случае нужно закрывать сайт от индексации поисковых систем.

Чтобы закрыть сайт или его какие-нибудь страницы от индексации, Вам понадобится файл Robots.txt, содержащий инструкции для роботов поисковых систем. Если Вы захотите закрыть весь сайт от индексации всем поисковым системам, то нужно прописать следующее в файле Robots.txt :

User-agent: *
Disallow: /

User-agent- директива, определяющая поискового робота. К нему будут использованы следующие инструкции ниже. В данном примере указано *, это значит, что инструкции будут подходить абсолютно всем поисковым роботам. Если же Вашей задача является закрытие сайта от индексации лишь для Яндекса, то в этом случае прописать надо будет следующий синтаксис:

User-agent: Yandex
Disallow: /

Если же ваша задача - закрытие сайта от индексации поисковой системы Google, тогда синтаксис будет:

User-agent: googlebot
Disallow: /

Если же Вы хотите закрыть сайт от другой поисковой системы, тогда имя робота, которое нужно обозначить в директиве User-agent обязано быть отмечено в справочной информации этой поисковой системы.

Как говорили раньше, закрывать от индексации сайт можно как полностью, так и его отдельные страницы. Для этого нужно в перечне инструкций Disallow указать адреса отдельных страниц. К примеру, если бы Вы хотели закрыть от индексации страницу контактов от всех поисковых систем, файл Robots.txt содержал бы:

User-agent: *
Disallow: /ob-avtore
Disallow: /kontakti

Также можно закрывать от индексации весь раздел сайта, для этого необходимо указывать в disallow  элемент url всех страниц сайта, что Вы желаете запретить к индексации. Например, Вы хотите запретить на своем блоге индексироваться разделу "Поисковые системы". Тогда содержать Robots.txt будет:

User-agent: *
Disallow: /poiskovie-sistemi/

Таким способом, кстати, можно закрыть не только какие-либо определённые разделы сайта, но и определённые группы страниц, которые содержат в своем адресе похожие сочетания символов.

закрыть сайт от индексации

Комментарии

Добавить новый комментарий

Еще по теме:

Последние новости: