Cloudflare добавила раздельную блокировку AI-краулеров по типу использования

Cloudflare расширила инструменты управления AI-краулерами для владельцев сайтов. Теперь обращения таких ботов можно различать по предполагаемому сценарию использования и настраивать ограничения не только через полную блокировку.

Как сообщает Heise online, операторы сайтов получили возможность отдельно управлять доступом AI-краулеров в зависимости от цели их работы. Это позволяет точнее настраивать правила доступа вместо единого запрета для всех систем автоматического сбора данных.