Протокол запрета сканирования (robots exclusion protocol) это находящийся на одном с веб-сайтом сервере текстовый файл, который инструктирует роботов не сканировать и не индексировать информацию в особых разделах сайта. Другими словами, данный протокол собщает поисковым роботам, какие сегменты вашего сайта находятся вне круга возможного сканирования.
С помощью протокола запрета сканирования владельцы веб-сайта запретить поисковым механизмам индексировать отдельные веб-страницы, подкаталоги, или даже сайт целиком. Данные инструкции можно подстроить индивидуально под каждую поисковую систему.
Например, сейчас Google единственный поисковик, способный индексировать Flash-сайты на довольно приемлемом уровне. Владельцы веб-сайтов с помощью протокола запрета сканирования могут предписать индексировать Flash-сайты только роботам системы Google, а другим запретить их сканирование.
Для чего нужен запрет сканирования
Некоторые веб-файлы, например элементы каталогов cgi-bin, не имеют важного значения для поисковых систем. Когда ваши целевые пользователи осуществляют поиск какой-либо информации, их не интересует, какие программы создают на вашем сайте формы для заполнения или раскрывающиеся меню. Их также не интересуют страницы с надписью «Under construction» («В разработке»). Ваших целевых пользователей интересуют лишь товары или услуги, предлагаемые на веб-сайте.
Применяя протокол запрета сканирования, вы избежите появления ненужной информации в результатах поиска например, что ваши страницы сейчас «на ремонте». Проверьте, чтобы протокол запрета сканирования был помещен на ваш сервер в первую очередь до того, как там разместятся разделы-исключения. Почему? Иногда поисковые роботы приходят на ваш сайт еще до того, как у вас появится возможность поместить протокол запрета на свой сервер. Роботу достаточно нескольких секунд для сбора информации о ваших страницах.
Другая ситуация, когда может понадобиться запрет сканирования, наличие динамически генерируемых страниц, способных стать лоиушкой для робота, страниц-версий для печати и страниц, содержащих одинаковые данные, но организованных по-разному.