Метатег robots имеет три компонента: cache, index и follow. Компонент cache дает указание поисковому движку о том, может ли он хранить в публичном индексе движка страницу, доступ к которой осуществляется через ссылку cached snapshot в результатах поиска. Второй компонент index говорит движку о том, разрешается ли просматривать эту страницу и сохранять ее в каком-либо виде. Помеченная как Noindex страница будет полностью исключена поисковыми движками. По умолчанию это значение равно index, что говорит поисковым движкам: "Да, просматривайте, пожалуйста, эту страницу и включите ее в ваш индекс". Таким образом, размещать эту директиву на каждой странице не нужно. Робот по странице все равно будет ползать, и страница может по-прежнему ак¬кумулировать и передавать "сок ссылок" другим страницам, но она не появится в индексах поисковых движков.
Последняя инструкция, которая имеется в метатеге robots, — это follow. Эта команда (подобно index) имеет по умолчанию значение yes ("ползать по ссылкам на данной странице и передавать "сок ссылок" между ними"). Применение NoFoilow говорит поисковому движку о том, что ссылки на данной странице не должны передавать стоимость ссылок или подвергаться просмотру. В общем и целом неразумно использовать эту директиву как способ предотвращения перемещения по ссылкам. Поскольку люди все равно смогут попадать на эти страницы и смогут сделать ссылки на них с других сайтов, то NoFoilow (В метатеге robots) мало что дает в смысле ограничения просмотра или доступа пауков. Единственное его назначение— предотвращение распыления "сока ссылок", что имеет весьма ограниченное применение, поскольку в 2005 г. был введен атрибут rei="nofollow" (который мы уже обсуждали), позволяющий размещать эту директиву в отдельных ссылках.
Когда вы применяете метатег NoFoilow на странице, то поисковый движок все равно просмотрит страницу и поместит ее в свой индекс. Однако все ссылки (и внутренние, и внешние) этой страницы не смогут передавать "сок ссылок" другим страницам.
Хорошим применением для Noindex является размещение этого тега на HTML- странице с картой сайта. Эта страница создана для навигационной помощи пользователям и паукам поисковых движков, чтобы они могли эффективно обнаруживать контент вашего сайта. И, несмотря на то, что на некоторых сайтах эти страницы вряд ли могут получить хоть какой-то заметный рейтинг в поисковых движках, вы все равно хотите, чтобы они передавали "сок ссылок" тем страницам, на которые они ссылаются. Размещение на этих страницах Noindex не позволяет включать эти HTML-карты в индексы (и проблема таким образом решается). Убедитесь в том, что вы не применяете метатег NoFoilow на этих страницах или атрибут NoFoilow в ссылках на эти страницы, поскольку это не позволит страницам передавать "сок ссылок".