У поисковых движков огромная задача. Они индексируют онлайновый контент всего мира. Реальность такова: они усердно стараются обнаружить весь этот контент, но в свой индекс включают не все. Это происходит по целому ряду причин, "страница может быть недоступна пауку, она может быть оштрафована, может не иметь достаточного (чтобы заслужить включение в индекс) "сока ссылок". Когда вы запускаете новый сайт, добавляете на существующий сайт новые разделы, имеете дело с очень большим сайтом, то в индекс необязательно попадут все страницы. Чтобы контролировать это, вам нужно будет активно отслеживать уровень индексирования вашего сайта. Если проиндексирован не весь ваш сайт, то это может быть признаком наличия проблемы (недостаточно ссылок, плохая структура сайта и т. д.).
Получить основные данные по индексированию от поисковых движков очень легко. Все три основных поисковых движка поддерживают для этой цели одинаковый синтаксис: site:yourdomain.com.
С индексированием связан показатель интенсивности просмотра сайта. Google предоставляет эти данные в Google Webmaster Central.