Дублирование страниц – это проблема, которая беспокоит многих веб-мастеров. Дубли представляют собой один и тот же контент, который доступен по разным адресам. При наличии таких дублей контент становится неуникальным в пределах самого сайта. На первый взгляд неуникальность на одном сайте не значит неуникальность в интернете.
Тем не менее, поисковые машины не должны тратить драгоценное время и сканировать на сайте всякий мусор, а дубли как раз таки таким мусором и являются. Поэтому, если на сайте присутствуют дубли, то поисковая система может понизить позиции сайта или исключить некоторые страницы из индекса. Если дублей много может накладываться даже АГС.
Кроме того, если на сайте присутствует дублированный контент, то основная страница в индексе может подменяться на страницу, которая является её дублем, а это в свою очередь может привести к понижению позиций. Кроме того, такая ситуация может привести к перетеканию ссылочного и статического веса со страниц внутри сайта на "мусорные" страницы, а это может привести к потере веса некоторых страниц. Например, страницы, где можно подобрать светящиеся сувениры.
Нужно отметить, что дубли могут быть полными и неполными. Полные дубли – это когда страницы-дубль полностью повторяет содержимое основной станицы. Такая проблема возможна ели одна и та же страница открывается более, чем по одной ссылке.
Что касается неполных дублей, то на таких страницах информация дублируется только частично. Например, могут дублироваться анонсы статей в RSS-ленте. То же самое можно сказать про контенту в сайдбаре, который располагается на всех страницах сайта. Эта проблема особенно актуальна для интернет-магазинов из-за множества "сквозных" элементов структуры.
Самым лучшим способом борьбы с дублями является простое правило – не допускать попадания дублей в индекс поисковых систем. К сожалению, это получается далеко не у всех. Чаще всего подобные дубли находятся с помощью панели вебмастера уже после того, как дубли попали в индекс.

• Егор Михайлов's blog
• 1886 просмотра