Cloudflare начнёт блокировать AI-агентов на части сайтов без явного разрешения

Cloudflare сообщила, что с 15 сентября AI agent crawlers по умолчанию будут блокироваться на страницах с рекламой. Речь о ботах, которые получают данные со страниц в реальном времени, чтобы сформировать ответ для пользователя. Как сообщает AI News (artificialintelligence-news.com), новые правила распространятся и на новых клиентов Cloudflare, и на пользователей free-tier.

Компания разделила AI-ботов на три категории: Search для поисковой индексации, Agent для систем, работающих от имени пользователя в реальном времени, и Training для сбора данных при обучении моделей. По новым настройкам Search останется разрешённым, а Agent и Training будут заблокированы на рекламных страницах. Сами настройки доступны всем клиентам с 1 июля.

В материале говорится, что Cloudflare считает рекламные страницы контентом, рассчитанным прежде всего на посещение человеком. В компании объясняют это так: поисковый бот возвращает пользователя на сайт, тогда как AI-агент может извлечь ответ без перехода на страницу. Отдельно упоминается сложность с Googlebot, который используется и для поиска, и для обучения. Из-за этого блокировка Training одновременно ограничивает работу Googlebot.

Cloudflare советует разработчикам AI-агентов опираться на договорной доступ к данным, а не пытаться обходить ограничения через user-agent. В статье также упоминаются модели оплаты доступа к контенту: Ceramic.ai платит издателям за использование материалов в AI-поиске, а You.com, за доступ агентов к премиальному контенту.