Что входит в след
Журнал действий
Что агент запросил, что получил, какое решение принял и по какому поручению. С датой и временем.
Честное имя
Агент представляется своим именем в заголовке User-Agent, а не маскируется под обычный браузер.
Проверяемый адрес
Запросы идут с адресов, которые можно проверить: по опубликованному списку или обратному DNS.
Подпись запросов
Каждый запрос подписан ключом владельца — так сайт видит, что это действительно этот агент.
Подпись запросов
В мире развивается подпись HTTP-запросов ботов и агентов (Web Bot Auth): агент подписывает запрос, сайт проверяет подпись по открытому ключу владельца. Это черновик стандарта, не обязательное требование.
Со стороны сайта
Сайт, к которому приходят агенты, тоже оставляет след: кто пришёл, под каким именем и с каким ответом. Справочник ИИ-ботов, проверку «настоящий ли это бот» и генератор правил доступа даёт agentfirewall.ru.
Что сделать сейчас
- Включить журнал действий агента и хранить его не меньше срока поручения.
- Задать агенту своё имя в User-Agent со ссылкой на страницу о нём.
- Публиковать адреса, с которых работает агент, или настроить обратный DNS.
- Если агент ходит на чужие сайты — соблюдать их robots.txt.