OpenAI, Google, Microsoft и Anthropic 30 октября поддержали общий способ сообщить разработчикам ИИ, что контент сайта нельзя использовать для обучения генеративных моделей. Вместо отдельных инструкций для каждой компании владелец ресурса сможет добавить единый служебный сигнал в файл robots.txt.
Robots.txt содержит инструкции для автоматических сборщиков страниц. Сейчас издателям приходится отдельно настраивать правила для роботов разных компаний или использовать их собственные инструменты, например Google-Extended. Новый механизм позволит одной настройкой отказаться от обучения моделей у всех участников инициативы.
Корпоративные настройки продолжат работать. Google указывает, что отдельно заданное правило Google-Extended будет иметь приоритет над общим сигналом. Поэтому владелец сайта сможет запретить обучение всем участникам, но сделать исключение для конкретной компании, либо разрешить его в целом и установить отдельный запрет.
Читайте также
Сигнал предложил Кевин Келли в проекте документа, основанном на работе группы AI Preferences при Инженерном совете интернета, IETF. Это пока не стандарт IETF, а добровольный механизм: учитывать его будут только присоединившиеся разработчики. Настройка определяет, можно ли использовать контент для обучения, но не запрещает роботам скачивать страницы. Для блокировки доступа нужны отдельные правила для конкретных роботов.
Microsoft позволит раздельно запретить обучение моделей и использование страниц при подготовке ответов ИИ. Запрет на использование материалов в ответах снизит видимость сайта в ИИ-сервисах Microsoft, но не повлияет на его доступность в обычной выдаче Bing.
Сроки внедрения различаются. The Verge (заблокирован в РФ) сообщает, что Anthropic уже учитывает сигнал, а OpenAI подключит его в ближайшие месяцы. Google планирует внедрение в 2027 году. Настройки Microsoft начнут действовать по мере повторного обхода страниц с 1 февраля 2027 года. Сайтам, использующим прежние теги NoArchive и NoCache, нужно перейти на новый механизм до 1 марта 2027 года; после этой даты Microsoft перестанет учитывать старые теги как настройки для обучения и подготовки ответов ИИ.