Устарел контент в Яндекс и Google? Удаляем
Владельцы создают, улучшают, оптимизируют содержание сайтов не за один день, вкладывают в это немало усилий и времени. Поэтому удалять страницы из поискового индекса им не хочется. Но есть случаи, когда стоит это сделать. Их и рассмотрим.
Зачем убирать контент из поисковых систем?
В интернет-магазине обновился ассортимент: одни товары перестали продаваться, другие – начали
Ряд позиций торговой онлайн-площадки может быть недоступным ввиду временного отсутствия их на складе, снятия с производства или замены другими.
В итоге появляются неактуальные страницы товаров, которые на время или насовсем приходится удалять. Таким образом, краулинговый бюджет на них расходоваться не будет.
Примечание: краулинговый бюджет – количество страниц, которое может индексироваться поисковым ботом за один лимитированный по времени визит на сайт.
Когда новость больше не новость
На журналистском портале появляется информация. Проходит время. Все о ней узнают. Чтобы сайт не разрастался устаревшими заметками, удаляйте их.
Неактуальные статьи
Некоторые тематические материалы нужно актуализировать или заменять другими.
Статья «Как продвигаться в google+» не имеет смысла быть: упоминаемая социальная сеть в апреле 2019 перестала существовать. Статью нет смысла дорабатывать, перенаправлять и держать на сайте в принципе. Материал убираем.
В соответствии с законом: когда изменяются требования к конкретным отраслям
Информацию необходимо переписывать или удалять, если:
- на сайте юридической тематики выложен закон, который уже не действует;
- документация на интернет-ресурсах требует другого оформления.
Когда акции больше не действуют
Если скидки, акции, распродажи заканчиваются, страницы с ними тоже нужно удалять, чтобы напрасно не обнадеживать пользователя.
Когда неактуальные страницы удалять не стоит
У Вас интернет-магазин. Есть страницы, которые то теряют актуальность, то приобретают ее снова: скидки и предложения к 8 марта, Дню влюбленных, Новому году, Черной пятнице… Зачем удалять страницу, выбивать ее из поиска, терять позиции, если можно просто на ней сообщить: до начала акции осталось столько-то дней. Ближе к актуальной дате можно запустить обратный таймер.
Живой пример: на сайте Argos находится страница распродаж к Черной пятнице. В январе 2021 года по запросу «распродажа в черную пятницу» она вышла на первую позицию Google-выдачи. Когда начнется акция, компания получит преимущество над теми, которые удалили страницу в прошлом году, новую создадут только в ноябре за 10-20 дней до начала действия распродажи и топовых позиций нарастить не успеют.
Как убрать устаревший контент
Страницы можно удалять на нескольких уровнях:
- Только из индекса: пользователи не будут находить адрес в выдаче, но смогут переходить на него по ссылкам с закладок или других страниц.
- Из индекса и сайта: ни в результатах поиска, ни на самом ресурсе удаленный контент показываться не будет.
Удалить устаревший контент: применяем методы
Тег noindex
Убрать страницу не с сайта, а с индекса можно с помощью тега noindex:
<meta name=»robots» content=»noindex»/>
Его можно настраивать, используя SEO-плагины для CMS.
К необратимым это действие не относится: хотите вернуть страницу? Удалите тег, и поисковые роботы ее снова увидят.
Как убрать адреса страниц в Яндекс.Вебмастере
Чтобы это сделать, нужно:
- в файле robots.txt прописать disallow, обозначить на странице метатег robots с директивой noindex.
- В Вебмастере выбрать инструмент «Удалить URL». В пределах одного сайта за одни сутки Вы можете удалять до 500 адресов.
Хотите удалить сразу несколько страниц? Поставьте «По префиксу» – удалятся страницы, в которых URL содержит заданный шаблон.
На заметку: для одного сайта возможно применить до 20 префиксов за сутки.
Спорный момент: страница с disallow может проиндексироваться, если другие страницы сайта будут на неё ссылаться: бот может посчитать ее важной.
Как удалить адрес страницы в Google Search Console
Инструмент делает возможным удаление адреса или адресов страниц на время.
Можете убрать все URL с определенным префиксом: если удаляете site.com/products/, другие URL-адреса с /products/ в пути URL тоже удаляются:
- site.com/products/decorations/
- site.com/products/towels/
- site.com/products/flowers/
Если Вам нужно, чтобы страница отображалась по-другому ввиду изменений цены, телефона, Вы можете убрать из результатов поиска только кэшированную версию URL или фрагмент этой версии.
Используем инструменты
Когда применять 301 или 302 редирект
Вы продавали продукт, его перестали производить: перенаправьте на страницу с аналогами. Когда товар снова появится, просто уберите редирект.
Примечание: Если Вы уверены, что снятый с производства товар не вернется на рынок и нет подходящих аналогов, удалите из сайта его страницу: роботу придёт 404, 403 или 410 HTTP-код ответа сервера при обращении, и он уберет ее из индекса.
Советы по каноническим тегам
Ими лучше обозначать похожее содержание, а не устаревшее: поисковые боты могут не обратить внимание на такие теги и продолжить показ страниц.
Robots.txt – надежны?
Файл Robots.txt Google-боты считают не правилами, а рекомендациями. Чтобы удалить страницы из индекса, применяйте его вместе с другими способами.