JavaScript позволяет использовать на web-сайте много динамических функций, большинство из которых очень мало мешает работе пауков. Исключением является случай, когда страница делает вызов JavaScript (чтобы попасть на другую страницу или чтобы извлечь контент, который пауки не видят внутри HTML). Несмотря то, что такие случаи относительно редки, все же лучше знать о том, как роботы рассматривают и индексируют. И контент, и ссылки должны быть доступны в необработанной HTML-странице (во избежание проблем).
Асинхронный JavaScript и XML (AJAX) создают похожие проблемы, особенно и доставке контента, который поисковые движки не могут просмотреть. Поскольку AJAX для извлечения данных без обновления страницы или изменения URL использует вызовы баз данных, то содержащийся за такими технологиями контент часто полностью скрыт от поисковых движков. При использовании AJAX вы можете рассмотреть возможность реализации альтернативной системы просмотра, которой смогут воспользоваться поисковые движки. Приложения AJAX настолько дружественны к пользователю и так привлекательны, что для многих издателей отказаться от них было бы слишком непрактично. Создание каталога ссылок и страниц, которые смогут просматривать поисковые движки, будет гораздо более удачным решением.
Большинство способов, которыми можно получить доступ к контенту, все это создает десятки тысяч страниц для пауков поисковых движков (в то время как вы хотели иметь только несколько десятков страниц контента). Вы можете прочитать более подробно о точке зрения компании Google на эту проблему по адрес) http://googlewebmastercentral.blogspot.com/2008/08/to-infinity-and-beyond-no.html.
♦ Следите за идентификаторами сеансов и куки-файлами.
Если вы ограничите способность пользователя просматривать страницы или делать редиректы (при помощи куки-файлов или идентификаторов сеанса), то поисковые движки, возможно, не смогут просмотреть ваш контент. Роботы не используют куки-файлы, они не работают также и с идентификаторами сеансов (каждый визит паука получает URL с другим идентификатором сеанса и поисковый движок видит такие URL как разные URL). Несмотря на то, что ограничение предоставления форм — это хорошо (поскольку пауки не могут представлять формы), ограничение доступа к контенту при помощи куки-файлов и идентификаторов сеансов — это плохая идея. Разрешает ли Google указывать параметры в URL? Yahoo! разрешает. Вы можете прочитать об этом более подробно на сайте seroundtable.coin (http://wwvv.seroundtable.com/).
♦ Сервер, хостинг и проблемы с IP.
Проблемы с сервером редко вызывают трудности с ранжированием поисковыми движками, но когда это происходит, то последствия могут быть весьма серьезными. Движки поиска знают о том, что у серверов бывают стандартные проблемы (такие, как выключение или перегрузка), они будут истолковывать имеющиеся у них сомнения в вашу пользу (хотя ваш контент, конечно же, не сможет быть просмотрен при неработающем сервере).
В некоторых случаях источником проблем может быть IP-адрес вашего хоста. Если этот IP когда-то принадлежал спамерскому сайту, то поисковые движки могут хранить о нем отрицательные воспоминания, которые плохо повлияют на работу пауков и ранжирование. Поисковые движки не особенно привередливы в отношении совместного хостинга или серверных платформ, но вам следует быть осторожными и найти такой хост, которому доверяете.
Поисковые движки стали проявлять некоторую "паранойю" относительно определенных доменов, хостинговых проблем, адресов IP и блоков адресов IP. Опыт подсказывает движкам, что многие из этих объектов имеют сильную корреляцию со спамом, поэтому удаление их из индекса может дать пользователям большую пользу. Вы (как владелец сайта, который такими вещами не занимается) должны исследовать свой web-хост заранее (чтобы не приобрести проблемы).