Cloudflare начнет блокировать смешанные AI-краулеры на сайтах с рекламой с 15 сентября

Cloudflare сообщила, что с 15 сентября начнет блокировать AI-краулеры, которые одновременно используются для обучения моделей и поисковой индексации, на сайтах с рекламной моделью монетизации. Компания требует, чтобы AI-разработчики разделяли ботов по их назначению.

Также Cloudflare собирается выплачивать издателям вознаграждение, если их контент используется в ответах чат-ботов. Как сообщает gagadget (EN), эта инициатива должна дать владельцам сайтов больше контроля над тем, как AI-компании используют их материалы.

В компании считают, что разделение поисковых и обучающих краулеров поможет сайтам точнее управлять доступом к контенту и выбирать, какие виды автоматического сбора данных разрешать.