Cloudflare расширила инструменты управления AI-краулерами для владельцев сайтов. Теперь обращения таких ботов можно различать по предполагаемому сценарию использования и настраивать ограничения не только через полную блокировку.
Как сообщает Heise online, операторы сайтов получили возможность отдельно управлять доступом AI-краулеров в зависимости от цели их работы. Это позволяет точнее настраивать правила доступа вместо единого запрета для всех систем автоматического сбора данных.
Ключевые факты
Cloudflare расширила инструменты управления AI-краулерами.
Владельцы сайтов могут различать AI-краулеров по цели использования.
Доступ AI-ботов теперь можно ограничивать выборочно, а не только через полную блокировку.