Cloudflare объявила об автоматической блокировке веб-ботов смешанного назначения. Речь о системах, которые одновременно индексируют сайты для поисковых сервисов, работают как ИИ-агенты и используются для обучения моделей искусственного интеллекта. Раньше владельцы сайтов настраивали такую политику сами, теперь компания переводит параметры по умолчанию в защитный режим.
Как сообщает 3DNews, с 15 сентября для всех новых клиентов Cloudflare и новых сайтов действующих клиентов по умолчанию останется разрешена поисковая индексация, но обучение ИИ и работа агентов на страницах с рекламой будут заблокированы. Те же настройки затронут и бесплатные аккаунты, если пользователи не отключат их до этой даты.
В Cloudflare объясняют изменения ростом автоматизированного трафика и распространением ИИ-моделей, которые посещают сайты вместо людей, чтобы получать актуальную информацию. Гендиректор компании Мэтью Принс заявил, что новые меры должны подтолкнуть разработчиков ботов разделять функции поиска, ИИ-агентов и обучения моделей.
Кроме того, компания запускает функцию Pay Per Use. Она предполагает выплаты владельцам сайтов за использование их материалов в ответах ИИ-чат-ботов. На момент анонса партнёрами инициативы стали Ceramic.AI и You.com.
В материале также отмечается, что новая политика косвенно затрагивает Google. В Cloudflare считают, что сейчас владельцы сайтов не могут отдельно разрешить ИИ-поиск Google без использования контента для обучения ИИ.
Ключевые факты
С 15 сентября новые сайты в Cloudflare будут по умолчанию разрешать поиск, но блокировать обучение ИИ и использование агентов на страницах с рекламой
Пользователи бесплатных аккаунтов Cloudflare автоматически перейдут на новые настройки, если не отключат их до 15 сентября
Cloudflare запускает механизм Pay Per Use для выплат владельцам сайтов за использование их материалов в ответах ИИ-чат-ботов