В ходе переформатирования сайта, вебмастер "снёс" некоторые разделы, удалил множество страниц. При обращении к ним сайт выдаёт соответствующий ответ с кодом 404 - "Страница не существует".
Однако, просматривая уведомления в Вебмастере Яндекса, вебмастер сайта замечает, что алгоритм Яндекса продолжает совершать какие-то действия с этими - несуществующими уже страницами: то добавляет часть из них в свой индекс, то удаляет их оттуда, добавляет другие - из того же удалённого раздела.
Например, на днях в индекс были добавлены некоторые страницы с кодом 404. Из общения с Платоном Щукиным, стало ясно, что последний раз робот посещал эти страницы три месяца тому назад. Видимо, буквально накануне их удаления с сайта. И вот они в индексе, хоть и не дают трафика, понятно, что не на высоких позициях.
Из ответа Платона Щукина:
Для обнаружения любых изменения на страницах, в том числе и их недоступности, индексирующему роботу нужно посетить каждую такую страницу, после чего обновить информацию в поисковой базе. Это занимает время, но со временем подобные страницы будут посещены повторно и исключены из поиска автоматически.
Для обнаружения любых изменения на страницах, в том числе и их недоступности, индексирующему роботу нужно посетить каждую такую страницу, после чего обновить информацию в поисковой базе. Это занимает время, но со временем подобные страницы будут посещены повторно и исключены из поиска автоматически.
В общем то, понятно, что рано или поздно, страницы с кодом 404 пропадут из индекса. Можно не заморачиваться, если бы в панели Я. Вебмастера о них не напоминали регулярно. Яндекс засоряет индекс страницами, которые давно не существуют, вряд ли от этого есть какая то польза.
Как же радикально ускорить выпадание из индекса Яндекса несуществующих теперь страницы сайта.
В случае с отдельными страницами, когда их немного, можно воспользоваться инструментом "Переобход страниц" во вкладке "Индексирование" в панели Я.Вебмастера.
С недавних пор можно воспользоваться инструментом IndexNow, о котором уже был разговор здесь. IndexNow позволяет отправлять до 10000 запросов в день и можно сообщить об удалении большого количества страниц.
Из ответа Платона Щукина:
Ускорить этот процесс поможет использование инструмента переобхода или IndexNow. Например, вы можете настроить сервер таким образом, чтобы при удалении страницы она автоматически отправлялась при помощи IndexNow.
Ускорить этот процесс поможет использование инструмента переобхода или IndexNow. Например, вы можете настроить сервер таким образом, чтобы при удалении страницы она автоматически отправлялась при помощи IndexNow.
Но для удаления страниц в рамках целого раздела, нужно перечислить их поимённо. Что иногда может быть проблематично, если речь идёт о тысячах страниц. То есть не проблема отправить этот список при помощи - IndexNow. Проблема - составить такой список.
Можно ли ускорить удаление из индекса всех потенциально присутствующих в индекса страниц в рамках определённого каталога на сайте? Например всех страниц, которые пойдут после /pages.
Ответ Платона на этот счёт.
Из ответа Платона Щукина:
При удалении каталогов вы можете устанавливать запрет на их индексирование в файле robots.txt. Благодаря запрету в течении двух недель страницы каталога будут автоматически исключены из поиска.
При удалении каталогов вы можете устанавливать запрет на их индексирование в файле robots.txt. Благодаря запрету в течении двух недель страницы каталога будут автоматически исключены из поиска.
Говорят, дополнительный запрет на индексирование удалённого каталога, может ускорить страниц из этого каталога из индекса Яндекса.
Пример записи в robots.txt::
User-agent: *
Disallow: /pages/
User-agent: *
Disallow: /pages/
Постер для иллюстрации: pixabay.com
