Управление контентом при помощи куки-файлов и идентификаторов сеансов
Иногда вы хотите более тщательно указать, что увидит робот поискового движка при посещении вашего сайта. Обычно представители поисковых движков называют такую практику показа разного контента пользователям и паукам клоакингом маскировкой и считают ее спамерской. Однако у этой концепции есть вполне законные применения, которые не вводят в заблуждение поисковые движки и не имеют злоумышленных намерений. Этот раздел посвящен таким методам (с использованием куки-файлов и идентификаторов сеансов).
Блокирование и клоакинг по диапазону адресов IP
Вы можете задать адреса IP (или их диапазоны), чтобы заблокировать конкретных роботов. Большинство основных поисковых движков ведет просмотр с определенных адресов IP, что делает возможным их выявление и ограничение доступа. Этот способ популярен у тех web-мастеров, которые ошибочно считают, что пауки поисковых движков — это спамеры, пытающиеся украсть их контент. Поэтому такие web-мастера блокируют диапазоны IP-адресов для ограничения доступа и экономии полосы пропускания. Будьте осторожны при блокировании роботов и убедитесь, что вы не блокируете доступ пауку, который может принести вам выгоду (как от поискового трафика, так и от атрибуции ссылок).
Сокрытие текста в изображениях
Как мы уже предупреждали ранее, основные поисковые движки пока еще плохо умеют читать текст в изображениях (и требующаяся для этого вычислительная мощность является серьезной преградой). Скрывать контент внутри изображений обычно не рекомендуется, поскольку он может оказаться неудобным для альтернативных устройств (в частности, мобильных) и совершенно недоступным для других (таких, как программы чтения с экрана).
Сокрытие текста в аплетах Java
Точно так же, как и текст в изображениях, контент внутри аплетов Java не может легко распознаваться поисковыми движками.
Принудительное предоставление форм
Если вы держите свой контент за предоставлением формы и никогда не делаете на него внешних ссылок, то ваш контент в поисковые движки не попадет. Проблема начинается тогда, когда спрятанный за формами контент получает находящиеся вне вашего контроля ссылки. Например, когда блогеры, журналисты или исследователи решают сделать ссылку на страницы вашего архива без вашего ведома. Таким образом, несмотря на то, что предоставление форм может поставить поисковые движки в безвыходное положение, необходимо убедиться в том, что вся реально конфиденциальная информация имеет дополнительную защиту (например, при помощи robots.txt или метатега robots).
Использование защиты регистрационной записью/паролем
Защита паролем (любого типа) эффективно предотвращает доступ поисковых движков к контенту, точно так же, как и любой вид человеческой верификации (такой, как САРТСНА - это поле, в которое надо вписать комбинацию букв и цифр, чтобы получить доступ). Основные поисковые движки не пытаются угадать пароль.
Удаление URL из индекса поискового движка
В большинстве из основных поисковых движков молено удалить URL из индекса. Для этого нужно сделать верификацию вашего сайта и использовать инструменты поискового движка. Например, Yahoo! позволяет удалить URL при помощи своей системы Site Explorer (http://help.yahoo.eom/l/us/yahoo/search/siteexplorer delete/siteexplorer-46.html), a Google предлагает аналогичный сервис при помощи Webmaster Central (https://vvww.google.com/webmasters/tools/removals). Поисковый движок Bing компании Microsoft, вероятно, также начнет скоро поддерживать эту функцию.