Благодаря работе я постоянно вижу санкции и включение в «черные списки» поисковых систем. Поскольку у большинства компаний нет подобного опыта, разве что у некоторых, их сотрудники могут не знать, сколько труда Google, Yahoo и другие основные поисковые системы вкладывают в повышение качества результатов поиска. Обычно прозрение наступает только после того, как сайт получил санкции или бан (ban запрет), то есть был исключен из индекса.
Технические причины блокирования со стороны поисковых систем
Прежде чем предполагать, что сайт был подвергнут санкциям или забанен, рассмотрим технические причины, по которым сайт может отсутствовать в индексе поисковика.
Протокол запрета сканирования и прочие технические проблемы
Один из первых моих шагов в таких случаях просмотр текстового файла протокола запрета сканирования (если он используется) и соответствующих метатегов. Иногда при запуске сайта с обновленным дизайном разработчики забывают убрать с сервера файл robots.txt или отформатировать его так, чтобы поисковики могли сканировать обновленный сайт.
Другие технические причины отсутствия сайта в индексе поисковика:
• Сканированию сайта поисковыми роботами препятствует новый дизайн или недавнее обновление с применением новой технологии (например, было установлено обязательное обращение к cookies).
• Структура URL, созданная новой системой управления содержимым, не обеспечивает поисковой видимости.
• Используется только одна навигационная схема, препятствующая сканированию сайта роботами, например, навигация на основе форм: поисковики не заполняют формы.
• Требуется ввести логин поисковики не делают этого.
Проверка индексации сайта
Один из способов определить, могут ли роботы перемещаться по вашему сайту и видеть его содержимое, проверка индексации сайта (index count), то есть определение количества ваших URL в индексе поисковой системы. Помните, что веб-страница получает рейтинг, только если она присутствует в индексе поисковой системы.
Общее представление об индексации вашего сайта можно получить следующим образом. В Google или Ask введите следующую строку, заменив «ваш-домен.ru» доменным именем вашего сайта:
site:ваш-домен.ru
или
site:www.ваш-домен.ru
В Microsoft Live Search применяется похожая строка запроса, и на странице расширенного поиска можно сделать такой же запрос.
В Yahoo недавно создан раздел Site Explorer, с помощью которого вебразработчик или специалист по поисковому маркетингу может проверить положение своего сайта в Yahoo (рис. 5.10).
Почему проверить индексацию сайта так важно для выявления поискового спама? Внезапное понижение индексации, не вызванное какими-либо техническими причинами, может быть признаком того, что сайт подвергнут санкциям или бану. Однако предварительно надо убедиться, что технические причины здесь ни при чем.
Совет
Просмотрев данные, предоставленные вашими веб-аналитиками, вы четко определите, сканируют ли поисковики ваш сайт. Если они стали делать это реже, возможно, к сайту применены санкции.
Ссылки на сайт
Еще один признак санкций или бана внезапное уменьшение количества ссылок на сайт. Скорее всего, он исчез из верхних строк результатов поиска, так как группа оценки качества поиска обнаружила группы FFA-сайтов и исключила все эти сайты из индекса. А если ссылки на сайт больше не отображаются, это напрямую влияет на его поисковую видимость.
Для определения количества ссылок в целом применяйте следующий способ. В Google, Live и Ask замените «вашдомен.сот» доменным именем своего сайта:
link:www.ваш-домен.ru
Для такой же проверки в Yahoo используйте раздел Site Explorer. Резкое уменьшение количества ссылок обычно означает, что группа оценки качества поиска удалила низкокачественные ссылки, ведущие к сайту.
Если установлено, что технических препятствий для перемещения роботов и/или индексирования сайта нет, возможно, он действительно подвергся санкциям или забанен.
Восстановление утраченного
Проблема была двоякой. Во-первых, оптимизаторы создали гигантский по объему избыточный контент для индексов Google и всех основных поисковиков свыше 90 копий сайта, 22 ООО страниц. Google (и другим коммерческим поисковикам) достаточно только одного экземпляра содержимого, поэтому на всех созданных оптимизаторами доменах применялось перенаправление 301 на официальный сайт.
Во-вторых, было создано много некачественных ссылок на сайт. Поэтому MedicineNet надо было сообщать обо всех известных ссылках на ее сайт в Google, чтобы его специалисты отследили некачественные ссылки.
После урегулирования этих проблем следовало подать запрос на повторное включение в индекс Google.
Следите за повторным включением вашего сайта
При проверке на повторное включение не донимайте группу оценки качества письмами и заполненными формами. Лучше просмотрите свои данные веб-анализа, касающиеся поисковых роботов. Можно также проверить индексацию и количество ссылок (способы проверки описаны выше) для определения, включена ли страница в индекс поисковика.
В случае MedicineNet возвращение сайта в индекс заняло около 6 месяцев. Из-за своих размеров сайт стал вновь появляться в результатах поиска через 3 месяца после начала сканирования роботами. Сайты небольшого размера начинают отображаться в результатах поиска немедленно, большие сайты с задержкой.
Какова мораль этой истории? Не нужно заниматься поисковым спамом. Я считаю, что риск при этом слишком высок, и расходы на рекламу себя не оправдывают.