Ни поисковые системы, ни пользователи не хотят, чтобы в результатах поиска преобладали одни и те же сайты. Для этого большинство поисковиков используют метод кластеризации (clustering). Обычно при кластеризации допускается отображение в верхних строках результатов поиска не больше 1-2 страниц каждого сайта.
Однако очень часто поисковые спамеры дублируют содержимое страницы или слегка изменяют его. После этого они уведомляют поисковик о сотнях или тысячах немного отличающихся страниц. Например, две страницы могут иметь одинаковое содержимое и разные метатеги, далее еще две страницы, созданные по тому же принципу, и т. д. Если какая-либо из страниц получает высокий рейтинг благодаря определенной ключевой фразе, то и все эти страницы, похожие одна на другую, будут преобладать в верхних строках результатов поиска.
Вспомните случаи, когда в результатах поиска вы видели всё одну и ту же компанию. Если информация на ее сайте сразу показалась вам неинтересной в первый раз, то вы не захотите увидеть ее во второй, третий, четвертый или пятый раз.
Дублирование содержимого (создание избыточного содержимого) обычная практика для сайтов филиалов компаний и торговых посредников. Как правило, они приводят почти ту же информацию, что и сайт головной фирмы (или фирмы-производителя). Если вы сочли неинтересной информацию на ее сайте, то и сайт филиала, скорее всего, вызовет ту же реакцию.
Итак, поисковые системы стремятся не индексировать сайты филиалов компаний и торговых посредников, где дублируется уже имеющееся содержимое. Обнаружив дублированные страницы или сайты, они стараются убрать хотя бы одну из них, применяя особые фильтры.