Доступность сайта для поисковых движков позволяет им определить, какой контент находится на нем. Когда поисковый движок впоследствии получит поисковый запрос, он сможет решить, соответствует ли ему контент вашего сайта.
Как мы уже говорили ранее, пауки поисковых движков — это программы, поэтому у них есть свои достоинства и недостатки. Чтобы облегчить работу этих программ, издатели должны адаптировать свои web-сайты, т. е. использовать достоинства этих программ и нивелировать их недостатки. Если вы сможете это совершить, то сделаете большой шаг к успеху в плане оптимизации. Разработка дружественной к оптимизации архитектуры сайта требует большого: объема планирования — как из-за большого количества факторов, влияющих на то. как поисковый движок видит ваш сайт, так и из-за большого количества тех способов, которыми можно организовать web-сайт. Существуют сотни (если не тысячи) инструментов, предоставленные web-разработчикам для создания сайта, причем многие из них разрабатывались без учета оптимизации.
Делаем ваш сайт доступным для поисковых движков
Для начала следует сделать так, чтобы ваш сайт можно было найти и чтобы по нему могли проползти пауки поисковых движков. Это не так просто, как кажется, поскольку есть много популярных схем и реализаций, которые пауки могут не понять.
Куда выгружать ваш файл Sitemap
Когда ваш файл Sitemap будет готов, выгрузите его на ваш сайт в каталог самого высокого уровня, который хотите подвергнуть просмотру пауками (обычно это корневой каталог). Если вы включите в список Sitemap те URL, которые находятся на более высоком уровне, чем ваш файл Sitemap, то поисковые движки не смогут включить эти URL в Sitemap.