Cloudflare начнет по умолчанию блокировать AI-краулеры на страницах с рекламой

Cloudflare сообщила, что вскоре начнет по умолчанию ограничивать доступ смешанным краулерам к сайтам клиентов с рекламной моделью монетизации. Речь о ботах, которые используются одновременно для поисковой индексации и сбора данных для обучения AI-моделей. Как пишет The Register, решение затронет в том числе Googlebot, Bingbot и Applebot, хотя Apple, Google и Microsoft уже предлагают механизмы отказа от использования контента для AI-обучения.

В компании объяснили изменения тем, что издатели опасаются блокировать крупных поисковых краулеров, поскольку это может сказаться на присутствии сайтов в поисковой выдаче. При этом часть операторов ботов, по данным Cloudflare, игнорирует ограничения robots.txt. В Cloudflare заявили, что хотят дать владельцам сайтов более жесткий механизм контроля над использованием контента.

С 15 сентября 2026 года для новых клиентов Cloudflare и новых сайтов существующих клиентов начнет действовать настройка по умолчанию: поисковая индексация будет разрешена, а обучение AI и агентские запросы на страницах с рекламой заблокированы. Изменения затронут и пользователей бесплатного тарифа, если они не меняли настройки вручную. Владельцы сайтов при этом смогут вернуть доступ краулерам через параметры сайта.

Кроме этого, Cloudflare переименовывает сервис Pay Per Crawl в Pay Per Use. Компания также объявила о партнерствах с Ceramic.ai и You.com. Издатели смогут получать выплаты, когда их контент используется в поисковой выдаче Ceramic.ai или по запросам AI-агентов в You.com. Для владельцев сайтов Cloudflare также запускает Business Insights Dashboard с данными о потреблении контента ботами и трафике от AI-моделей.