Cloudflare начнёт по умолчанию блокировать ИИ-ботов смешанного назначения

Cloudflare объявила об автоматической блокировке веб-ботов смешанного назначения. Речь о системах, которые одновременно индексируют сайты для поисковых сервисов, работают как ИИ-агенты и используются для обучения моделей искусственного интеллекта. Раньше владельцы сайтов настраивали такую политику сами, теперь компания переводит параметры по умолчанию в защитный режим.

Как сообщает 3DNews, с 15 сентября для всех новых клиентов Cloudflare и новых сайтов действующих клиентов по умолчанию останется разрешена поисковая индексация, но обучение ИИ и работа агентов на страницах с рекламой будут заблокированы. Те же настройки затронут и бесплатные аккаунты, если пользователи не отключат их до этой даты.

В Cloudflare объясняют изменения ростом автоматизированного трафика и распространением ИИ-моделей, которые посещают сайты вместо людей, чтобы получать актуальную информацию. Гендиректор компании Мэтью Принс заявил, что новые меры должны подтолкнуть разработчиков ботов разделять функции поиска, ИИ-агентов и обучения моделей.

Кроме того, компания запускает функцию Pay Per Use. Она предполагает выплаты владельцам сайтов за использование их материалов в ответах ИИ-чат-ботов. На момент анонса партнёрами инициативы стали Ceramic.AI и You.com.

В материале также отмечается, что новая политика косвенно затрагивает Google. В Cloudflare считают, что сейчас владельцы сайтов не могут отдельно разрешить ИИ-поиск Google без использования контента для обучения ИИ.