Часто случается что в поисковую выдачу попадают мусорные страницы, либо просто хотите удалить из поиска определенные страницы сайта. Сегодня разберем как это быстро и правильно сделать.
Для чего удалять страницы из поиска
Лично я на днях провел аудит CTR страниц блога и нашел так сказать бесполезные страницы заточенные под низкочастотные запросы которые имеют мало показов, не лучшие позиции и нулевой CTR. По факту это некачественный контент, который нет смысла оптимизировать и который понижает общее качество сайта.
Смотрите интересную статью: Пошаговый аудит контента — там есть более подробная информация о стратегии удаления некачественного контента и ее обоснование.
Немного про статусы ответов страниц
Сейчас в большинстве CMS при удалении страниц, они начинают отдавать 404 ошибку — страница не найдена. Можно оставить данный ответ — тогда в течении пол года поисковые системы должны удалить данные страницы из поиска автоматически. Но можно ускорить процесс удаления страниц если отдать им вместо 404 статуса, ошибку 410 gone — страница удалена.
Здесь основная разница заключается в том что 404 код не информирует, будет ли отображаться данная страница в будущем или она не появится больше совсем. А 410 код информирует, что страница присутствовала на сайте и теперь удалена.
Как настроить ошибку 410 gone
Сделать это можно несколькими способами:
- Если ошибка 404 отдается при помощи файла 404.php — тогда можно внести туда строчку кода:
header($_SERVER["SERVER_PROTOCOL"] . " 410 Gone");, таким образом все 404 ошибки будут отдавать 410 ответ. - Через файл .htaccess, внеся в него строку типа
RewriteRule ^test/?$ - [R=410,L]— где test адрес страницы. - Через плагины, например для woprdpress есть плагин «Ultimate 410 Gone Status Code» в котором можно как в ручную добавлять страницы, так и массово выгружать из CSV.
Как проверить ответ сервера
Чтобы проверить какой код статуса HTTP отдает удаленная страница, можно воспользоваться бесплатным сервисом checkmy.ru.
Страницы удалили, настроили им ответ 410, теперь осталось подождать (до 2х месяцев чтобы поисковые системы удалили данный контент, либо ускорить процесс скормив их поисковым системам.
Удаление страниц из Яндекс
В Яндекс.Вебмастер есть специальный инструмент: «Удаление страниц из поиска», открываем его закидываем туда URL (не больше 500 в день) и жмем на кнопку удалить.
Удаление страниц из Googole
С гуглом все немного сложнее. В search console есть инструмент Удаления — Временные удаления — который быстро, но временно (на 6 месяцев) удаляет страницы из поиска.
Судя по справке, если у страниц будет 404 или 410 статус ответа, то они будут по истечению пол года удалены навсегда.
Если есть вопросы, спрашивайте!
