Аналитики TollBit зафиксировали, что в 15% случаев боты в принципе игнорируют инструкции издателей, если те пытаются ограничить доступ к контенту через стандартный протокол. Важно понимать, что статистика фиксирует сам факт обращения к закрытым URL, однако она не учитывает возможную подмену user-agent или технические сбои на стороне серверов.
В OpenAI объясняют такое поведение спецификой работы ChatGPT-User. В отличие от GPTBot, который собирает данные для обучения моделей, или OAI-SearchBot, этот агент активируется по прямому запросу пользователя. Компания прямо заявляет, что правила robots.txt могут не распространяться на такие действия, так как инициатором обращения выступает человек. Это переводит вопрос защиты данных из плоскости простых текстовых инструкций в область реального контроля доступа. Владельцам сайтов, которые хотят скрыть информацию от ИИ, следует внедрять полноценную авторизацию или серверные блокировки, так как протокол robots.txt не является техническим барьером.
Комментарии (0)
Пока нет комментариев. Будьте первым!