Дубли страниц сайта: как влияют на SEO-продвижение, откуда берутся

Последнее обновление: 9 июня, 2021

Полезные инструкции

SAPID INFO: Дубли страниц сайта: как влияют на SEO-продвижение, откуда берутся

Взгляните на картинку и скажите, какое из 3-х животных здесь наиболее соответствует запросу «серый котенок»?

Все животные на фото – котята и все серые и одинаково релевантны запросу, но выбрать Вас просят одного. Сложно?

В подобной ситуации оказываются и поисковые роботы Google, Яндекс, когда при обходе страниц сайта выбирают, какую из нескольких идентичных проиндексировать. В выдаче появляются дубли: уникальность и релевантность сайта падает → происходит пессимизация (понижение позиций в выдаче) страниц и домена в целом → страдает посещаемость сайта: люди не находят ресурс и не открывают его.

Итак:

Почему дубли страниц это плохо? 

  1. URL-адреса теряют вес. По конкретному поисковому запросу в выдачу попадает только одна страница, а если их несколько, DA (Domain authority – авторитет домена) каждой из них снижается.
  2. Роботы дольше индексируют сайт: (чем больше страниц – тем больше тратится времени на индексацию), что негативно влияет на посещаемость сайта: нельзя найти то, чего нет. 

Важно! Каждый краулер – поисковой робот – имеет лимит запросов к Вашему домену и может потратить все лимиты на индексацию мусорных страниц, а до целевых не доходит.

  1. Бан в Google и Яндекс: сайт «вылетает» из выдачи на неопределенный срок. Целевым страницам не хватает внешних факторов SEO-продвижения. 
  2. Пользователи ссылаются на страницу, не понимая, копия это или оригинал. 

Например: страница товара в интернет-магазине может иметь 10-15 дубликатов, каждый из которых будет идти с внешней ссылкой, а это потеря ссылочной массы для оригинальной (целевой) страницы. 

Чтобы предотвратить вышеописанные ситуации, нужно ответить на вопрос:

Почему появляются дубли сайта?

  1. Не настроен 301 редирект:
  • с http на https

RewriteCond %{SERVER_PORT} !^443$

RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

  • с https на http

RewriteEngine On

RewriteCond %{SERVER_PORT} ^443$ [OR]

RewriteCond %{HTTP} =on

RewriteRule ^(.*)$ https://name.site/$1 [R=301,L]

  • на страницу с другим url (с параметрами)

RewriteCond %{QUERY_STRING} section=1

RewriteRule ^index.php http://name.site/articles.php? [R=301,L]

  • на страницу с другим url (без параметров)

RewriteRule ^(.*)old_page.html$ http://vash-sait.ru/new_page.html [R=301,L]

  • со страниц со слешем на без слеша

RewriteCond %{REQUEST_FILENAME} !-d

RewriteCond %{REQUEST_URI} ^(.+)/$

RewriteRule ^(.+)/$ /$1 [R=301,L]

  • со страниц без слеша на слеш

RewriteCond %{REQUEST_URI} !\?

RewriteCond %{REQUEST_URI} !\&

RewriteCond %{REQUEST_URI} !\=

RewriteCond %{REQUEST_URI} !\.

RewriteCond %{REQUEST_URI} !\/$

RewriteRule ^(.*[^\/])$ /$1/ [R=301,L]

  • с www на без www

server {#...

if($host~ * www\.(.*)) {

set $host_without_www $1;

rewrite ^ (.*) $ http: //$host_without_www$1 permanent;

}#...

}

  • без www на с www

server {#...

if($host~ * ^ [ ^ .] + \.[ ^ .] + $) {

rewrite ^ (.*) $ $scheme: //www.$host$1 permanent;

}#...

}

  • с index.php на главную

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://name.site/ [R=301,L]

с 404 Not Found

ErrorDocument 404 http://www.site.com/301.html

  1. Похожие товары в карточках. Например: «платье женское длинное зеленое», «платье женское длинное красное» и т.д.

Совет: объединяйте однотипные позиции (отличающиеся, например, только по цвету) при помощи модуля переключения отличающихся параметров или создавайте отдельные страницы товаров при существенных различиях, разной ценовой категории, например: «платья женские длинные, 100% полиэстер, $20» и «платья женские длинные 100% лён $200»

  1. Особенности CMS. Движок системой управления содержимым сайта автоматически генерирует дубли страниц: 

http://domain.com./information/category/topics/view/
http://domain.com/information/view/

  1. Ошибки вебмастеров. 

Например: один и тот же товар в нескольких категориях на разных URL:
http://domain.com/cat-1/prod-1/
http://domain.com/cat-2/prod-1/

  1. Старые URL. Изменяется структура сайта, существующие страницы получают новые адреса, но дубли с прошлыми URL сохраняются:

http://domain.com/catalog/price
http://domain.com/catalog/category/price

  1. Пользовательские действия: регистрация, поиск на сайте, фильтрование, сортировка товаров.
  2. Пагинация страниц:

Как найти и устранить дубли страниц сайта, читайте здесь.