Patreon начал напрямую блокировать AI-ботов, собирающих контент для обучения моделей
Patreon усилил защиту от AI-скрейпинга и сообщил о сотрудничестве с Cloudflare для блокировки ботов, которые собирают материалы авторов и используют их для обучения моделей без разрешения. Как пишет TechCrunch, платформа отказалась от подхода, основанного только на robots.txt, и перешла к прямому ограничению доступа для AI-краулеров.
В компании объяснили, что прежних мер уже недостаточно: инструменты для AI-скрейпинга заметно усложнились с момента появления первых ограничений в 2023 году. При этом часть контента Patreon и раньше была закрыта для краулеров благодаря paywall. Однако новые инструменты, включая обновлённую Home Feed и функцию Quips, могли увеличить объём материалов в открытом доступе.
Сейчас Patreon использует технологию AI Crawl Control от Cloudflare, чтобы обновлять правила и механизмы контроля. По данным компании, во время тестирования число еженедельных попыток доступа со стороны отдельных AI-краулеров сократилось с «тысяч попыток до нуля». При этом сервис продолжит разрешать работу ботам, которые индексируют страницы и помогают направлять пользователей обратно на Patreon.
Ключевые факты
Patreon сообщил, что усилил меры против AI-скрейпинга из-за роста сложности таких инструментов с 2023 года
Cloudflare предлагает инструменты ограничения AI-ботов, включая систему Pay Per Crawl
В начале месяца Cloudflare начал по умолчанию блокировать «mixed-use» краулеры на страницах с рекламой
По словам Patreon, во время тестирования число еженедельных попыток доступа со стороны отдельных AI-краулеров сократилось с тысяч до нуля