Как найти и устранить дубли на сайте

В 2011-ом году компания Google запустила алгоритм Google Panda, отвечающий за содержание сайтов, и если они попадают под этот фильтр, то могут слететь в поисковой выдаче, к примеру, с 5-ой позиции на 20-ю, а также просесть в показателях по трафику, как здесь:

Панда сильно реагирует на дубликаты страниц, поэтому нужно убедиться, что у Вас их нет.

 8 способов обнаружить дубли на сайте:

1. Вручную. Опытные IT-специалисты найдут дубликаты страниц, введя URL в различных вариациях.
2. Применить мониторинг поиска при помощи комбинации – site: имя сайта пробел фрагмент текста в кавычках.

Выдача покажет все страницы сайта с заданной фразой.

Если Вы увидите фразу жирным шрифтом из строки поиска на двух и более страницах, значит, дубли есть.

Важно! Во вводимом при помощи «site:» тексте должно быть 1 предложение без точки в конце.

3. Через Google Search Console. Чтобы проверить дубли страниц на сайте с одинаковыми тегами meta-title и meta-description, нужно открыть Google Search Console → перейти на вкладку «Оптимизация html» → посмотреть список потенциальных копий.

4. Через Яндекс.Вебмастер. Алгоритм действий: «Индексирование» → «Страницы в поиске» → «Исключенные страницы» → «Дубли».

5. Через программы-парсеры для desktop – Screaming Frog, NetPeak, SEO Spider, Xenu – проверка на дубли страниц по совпадению метатегов.
6. Через онлайн-сервисы, например: Siteliner.com – для проверки доступно: бесплатно – 250 страниц, по подписке – 25000, Check Your Redirects and Statuscode – для анализа одного URL.
7. Через сервисы аналитики, например, Serpstat.
8. Обратиться в digital-маркетинговое агентство и заказать аудит сайта. Это экономия времени + гарантии от Исполнителя касательно полноты проверки + индивидуальный подход к конкретному ресурсу. 

Итак, чтобы найти дубли страниц, можно использовать программы-парсеры, онлайн-сервисы, операторы поиска, подбор вариаций URL вручную или воспользоваться услугами веб-студии. 

Как устранить дубликаты страниц?

5 способов, которые применяются в зависимости от типа дублей (полные, частичные) и формата сайтов (сайт-визитка, интернет-магазин и т.д.):

1. Удалить статические страницы, дублирующие контекст + убрать ссылки из внутренней перелинковки на веб-ресурсе.
2. Закрыть нужные страницы от сканирования и индексации при помощи файла robots.txt.

На заметку: этот способ подойдет для удаления дубликатов, связанных с фильтрами, сортировками и внутренним поиском на сайте.

3. Настроить 301 редирект с помощью файла «.htaccess»: убираются дубли home page (главной страницы), ссылки реферальных программ и пр.
4. Наладить атрибут rel=«canonical», чтобы не дублировались фильтры товаров, страницы пагинации, utm-метки, сортировки и т.д.
5. Разместить тег <meta name=«robots» content=«noindex, nofollow» /> для удаления дубликатов в виде страниц для печати и др.
6. Обратиться в веб-студию и работать по схеме: Исполнитель подписывает договор с Заказчиком → менеджер проектов составляет ТЗ программисту и контролирует его работу → программист проводит полное устранение всех видов дублей. Это относится к услуге «SEO-оптимизация сайтов».

Итог

Для каждого типа дублей существуют свои пути их поиска и устранения, а универсальный и применимый для всех ситуаций способ обнаружить и убрать дубликаты на сайте – обратиться к IT-специалистам.

Об опасностях и причинах появления дублей страниц читайте здесь.