Специалист по оптимизации должен хорошо понимать, как роботы просматривают сайты. Во-первых, частота просмотра говорит о том, какие страницы вашего сайта имеют самый высокий рейтинг PageRank и доверие, поскольку Google просматривает Интернет по рейтингу PageRank в обратном порядке. Она может также помочь вам выявить проблемы просмотра вашего сайта.
Вы можете использовать обсуждаемые в этом разделе инструменты для того, чтобы искать потенциальные проблемы просмотра и чтобы анализировать, насколько важным считают ваш контент поисковые движки. Вам следует искать признаки проблем с оптимизацией, такие как блокировка пауков содержимым файла robots.txt, архитектурные проблемы, или даже признаки наличия штрафа (который можно выявить по падению частоты просмотра).
Однако важно понимать, что эти данные скажут вам не все. Например, тот факт, что web-страница была просмотрена роботом, не означает того, что она попадет в индекс. Чтобы попасть в индекс, страница должна пройти некоторые дополнительные тесты (такие, как наличие уникального контента и достаточного количества ссылок).
Для проиндексированных страниц вы можете посмотреть, как часто пауки посещают ваши страницы и сравнить с тем, как часто поисковый движок показывает новые версии вашей страницы в индексе. Для этого посмотрите на последнюю дату кэшированной страницы и сравните ее с вашими данными по просмотру.
В число инструментов для анализа журналов входят: Webtrends (http://www.webtrends.com), Affinium Netlnsight (http://netinsight.unica.com/) компании Unica и HQ Web Analytics (http://www.lyris.com/solutions/lyris-liq/web-analytics/) компании Lyris. Это хорошо известные пакеты web-аналитики, которые предлагают функцию анализа журналов.
ПРИМЕЧАНИЕ
Компания Google купила Urchin в марте 2005 г. (http://www.google.com/intl/en/press/pressrel/urchin.html). Решение компании Urchin (выполненное на основе JavaScript) стало пакетом Google Analytics. Однако версия Urchin (для анализа журналов) по- прежнему доступна по адресу: (http://www.google.com/urchin/index.html).
Вот другие программы для анализа журналов:
♦ Analog (http://www.analog.cx);
♦ AWStats (http://awstats.sourceforge.net/);
♦ Sawmill (http://www.sawmill.net);
♦ Visitors (http://www.hping.org/visitors/);
♦ Webalizer (http://www.webalizer.com);
♦ W3Perl (http://www.w3perl.com);
♦ Piwik (http://www.piwik.org).
Инструменты Google Webmaster Tools
Вы можете также получить подробную информацию об активности пауков на вашем сайте при помощи инструментов Google Webmaster Tools.
Это чрезвычайно наглядный моментальный снимок. По этим данным возникает вопрос: почему "время на странице" в середине декабря подпрыгнуло с 300 миллисекунд до 650? Это может быть результатом изменений либо в архитектуре сайта, либо у хостинг-провайдера этого сайта. Когда вы видите такие изменения, это может быть признаком того, что с вашим сайтом что-то случилось (и вам следует заняться расследованием).