Часто случается что в поисковую выдачу попадают мусорные страницы, либо просто хотите удалить из поиска определенные страницы сайта. Сегодня разберем как это быстро и правильно сделать.
Для чего удалять страницы из поиска
Лично я на днях провел аудит CTR страниц блога и нашел так сказать бесполезные страницы заточенные под низкочастотные запросы которые имеют мало показов, не лучшие позиции и нулевой CTR. По факту это некачественный контент, который нет смысла оптимизировать и который понижает общее качество сайта.
Смотрите интересную статью: [mask_link href=»https://drmax.su/content-audit.html» target=»_blank»]Пошаговый аудит контента[/mask_link] — там есть более подробная информация о стратегии удаления некачественного контента и ее обоснование.
Немного про статусы ответов страниц
Сейчас в большинстве CMS при удалении страниц, они начинают отдавать 404 ошибку — страница не найдена. Можно оставить данный ответ — тогда в течении пол года поисковые системы должны удалить данные страницы из поиска автоматически. Но можно ускорить процесс удаления страниц если отдать им вместо 404 статуса, ошибку 410 gone — страница удалена.
Здесь основная разница заключается в том что 404 код не информирует, будет ли отображаться данная страница в будущем или она не появится больше совсем. А 410 код информирует, что страница присутствовала на сайте и теперь удалена.
Как настроить ошибку 410 gone
Сделать это можно несколькими способами:
- Если ошибка 404 отдается при помощи файла 404.php — тогда можно внести туда строчку кода:
header($_SERVER["SERVER_PROTOCOL"] . " 410 Gone");, таким образом все 404 ошибки будут отдавать 410 ответ. - Через файл .htaccess, внеся в него строку типа
RewriteRule ^test/?$ - [R=410,L]— где test адрес страницы. - Через плагины, например для woprdpress есть плагин «[mask_link href=»https://wordpress.org/plugins/ultimate-410/» target=»_blank»]Ultimate 410 Gone Status Code[/mask_link]» в котором можно как в ручную добавлять страницы, так и массово выгружать из CSV.
Как проверить ответ сервера
Чтобы проверить какой код статуса HTTP отдает удаленная страница, можно воспользоваться бесплатным сервисом [mask_link href=»https://checkmy.ru/» target=»_blank»]checkmy.ru[/mask_link].
Страницы удалили, настроили им ответ 410, теперь осталось подождать (до 2х месяцев чтобы поисковые системы удалили данный контент, либо ускорить процесс скормив их поисковым системам.
Удаление страниц из Яндекс
В [mask_link href=»https://webmaster.yandex.ru/» target=»_blank»]Яндекс.Вебмастер[/mask_link] есть специальный инструмент: «Удаление страниц из поиска», открываем его закидываем туда URL (не больше 500 в день) и жмем на кнопку удалить.
Удаление страниц из Googole
С гуглом все немного сложнее. В [mask_link href=»https://search.google.com/search-console/» target=»_blank»]search console[/mask_link] есть инструмент Удаления — Временные удаления — который быстро, но временно (на 6 месяцев) удаляет страницы из поиска.
Судя по [mask_link href=»https://support.google.com/webmasters/answer/9689846#make_permanent» target=»_blank»]справке[/mask_link], если у страниц будет 404 или 410 статус ответа, то они будут по истечению пол года удалены навсегда.
Если есть вопросы, спрашивайте!
