Говорят, новый инструмент поможет владельцам сайтов сообщать поисковым системам обо всех изменениях, которые связаны с контентом на сайте. Это похоже на существовавшую ранее систему пинга. Сейчас пинг поисковых систем почти не работает, как прежде.
С помощью IndexNow можно сообщить не только про добавление нового контента на сайте, но и про изменение на старых страницах, про удаление страниц. Предполагается, что поисковые системы, которые используют этот инструмент, смогут моментально получать информацию и более быстро реагировать на изменения.
Как это будет на практике - покажет время.
Как и раньше, поисковые системы лишь принимают к сведению полученную информацию, но не гарантируют, что будут индексировать все ссылки, которые им присылают через систему IndexNow.
Любая из поисковых систем, которая участвует в программе, после того, как получает информацию от вебмастера, будет делиться ею с другими поисковыми системами, которые также используют IndexNow. Таким образом, нет необходимости "пинговать" каждую поисковую систему, достаточно отправить сигнал одной из них. На сегодняшний день известно, что систему IndexNow будут использовать две поисковые системы: Bing и Яндекс. Все посмотрели на Google... Google пока молчит...
В полной мере система начнёт работать в ноябре 2021 года, однако ознакомиться с документацией и внедрять систему можно уже сейчас.
Документация и ответы на часто задаваемые вопросы расположены здесь: https://www.indexnow.org/
Пробуем разобраться в том, что там написано и использовать IndexNow на практике.
Что нужно чтобы начать?
Нужно создать файл в формате txt. Кодировка файла: UTF-8. Внутри файла должна находиться строка с ключом. Ключ нужно придумать самостоятельно. Он может состоять из символов: a-z A-Z 0-9 -Не меньше 8 символов и не больше 128 символов.
Если вам нужна помощь в генерации ключа, просто введите любой текст (можно по-русски) в этом приложении: «Генератор md5» и получите хэш - полученный набор символов можно использовать в качестве ключа.
Например, мой ключ: 3f3297abf319ae4fc970c40009249692
Значит в моём файле .txt находится только этот текст: 3f3297abf319ae4fc970c40009249692
И имя моего файла, должно быть 3f3297abf319ae4fc970c40009249692.txt
Этот файл я должен загрузить в корневой каталог моего сайта, который относится к текущему домену. Чтобы он был доступен по ссылке: https://mysite.com/3f3297abf319ae4fc970c40009249692.txt
Важно: Ключ является секретным, его должен знать только владелец сайта и поисковая система. Кстати поэтому, на самом деле, я не использую ключ: 3f3297abf319ae4fc970c40009249692 здесь он указан для примера.
Предварительно регистрировать ключ нигде не нужно. После того как я создал секретный ключ, я буду подставлять его в каждый запрос к IndexNow. В запросе я указываю ссылку на страницу, о которой хочу сообщить. Поисковая система посмотрит к какому домену относится ссылка и начнёт искать в корне этого домена текстовый файл с именем - как мой ключ и проверит, что внутри, если внутри тот же ключ, который мы прислали в запросе = ок.
Как отправить запрос с информацией о странице?
Нужно отправить запрос по адресу:https://(выбранная поисковая система)/indexnow?url=(ссылка на страницу, которую мы создали, изменили или удалили)&key=(наш секретный ключ)
Информацию в скобках нужно заменить на:
Выбранная поисковая система:
Если отправляем сигнал для Бинг: www.bing.com/indexnow
Если отправляем сигнал для Яндекс: yandex.com/indexnow
Ссылка на страницу: ссылка на вашем сайте о которой вы хотите сообщить, например: https://unila.ru/posts/102036
Секретный ключ: набор символов, который указан в текстовом файле, который лежит в корне вашего сайта (имя текстового сайта совпадает со значением ключа).
Полный пример (отправляем запрос в Яндекс со ссылкой на эту страницу), ссылка: https://yandex.com/indexnow/?url=https://unila.ru/posts/102036&key=3f3297abf319ae4fc970c40009249692
Чтобы отправить запрос, достаточно открыть эту ссылку в браузере. Если всё правильно и запрос отправлен/принят мы должны получить код ответа: HTTP 200, если что-то пошло не так, код ответа будет другой. В случае Яндекса, при успешном запросе на странице отображается сообщение: "success":true". В случае Bing - пустая страница.
Возможные коды ответа:
200 Ok - запрос прошёл успешно
400 - Неправильный формат
403 - Ключ не правильный (например отличается в запросе и тот, что размещён на сайте или на сайте не найдет файл с ключом)
422 - Ошибка ключа, не соответствует схеме в протоколе или не связан с доменом
429 - Слишком много запросов, спам
Можно сформировать запрос в текстовом файле и скопировать в адресную строку браузера.
Форма для удобной отправки запроса
Если хотите, можете воспользоваться этой онлайн формой для отправки запроса. Вставьте в одно поле ссылку на свою страницу, в другое поле - свой секретный ключ и нажмите «отправить».Важно: если вы используете вышеуказанную форму для отправки запроса, после её использования поменяйте свой секретный ключ (это можно делать неограниченное количество раз в любое время). Эта форма не собирает введённые ключи, но для избежания недоразумений с любой стороны, сделайте это.
Если у вас большой сайт, который живёт активной жизнью, контент льётся рекой, можно и нужно автоматизировать процесс отправки.
Потребуется внести изменения в исходный код системы, на которой работает ваш сайт, таким образом, чтобы запрос отправлялся автоматически в момент создания, изменения или удаления каждой статьи.
Технические детали будут зависеть от вашей системы, в рамках этого обзора в это углубляться мы не будем. Отмечу только, что запросы можно отправлять при помощи wget, curl, POST JSON (много ссылок за один запрос).
Однако стоит иметь ввиду, что если вы, как и я, имеете привычку много раз после публикации редактировать свой пост, исправлять опечатки, стилистические ошибки, не следует каждый раз после каждого редактирования отправлять запрос в IndexNow. Об этом предупреждают разработчики в своём мануале. Отправляйте запрос только после того, когда вы уверены, что всё готово и вы закончили работу с этой публикацией.
Важно: имеется лимит на количество запросов. Для одного сайта не более 10000 запросов в день.
Другие технические детали и ответы на вопросы смотрите на странице проекта по ссылке указанной выше.