Cloudflare представила систему защиты сайтов на фоне роста бот-трафика

Cloudflare сообщила, что автоматизированный трафик впервые превысил долю запросов от людей и сейчас составляет около 57% всего веб-трафика. На этом фоне компания представила инструмент Cloudflare Precursor. Он анализирует поведение посетителя в браузере на протяжении всей сессии, а не ограничивается проверкой в момент входа через CAPTCHA.

Как пишет The Next Web (TNW), система отслеживает движения мыши, ритм прокрутки страницы, темп набора текста, использование буфера обмена и время, в течение которого страница остаётся открытой. По словам технического директора Cloudflare Dane Knecht, современные боты уже умеют проходить разовые проверки, поэтому компания делает ставку на анализ поведения после входа на сайт. В Cloudflare подчёркивают, что Precursor фиксирует именно поведенческие паттерны, а не содержимое действий пользователя.

Компания также пересматривает подход к AI-ботам. Cloudflare разделила их на Search bots, Agent bots и Training bots. С 15 сентября новые сайты на платформе по умолчанию будут блокировать Training и Agent bots на страницах с рекламой, при этом Search bots останутся разрешены.

Кроме того, компания запускает базу BotBase со списком известных краулеров и механизм, который позволит сайтам задавать правила использования контента. Например, запрещать хранение данных или разрешать только индексацию со ссылкой.

В материале также говорится, что Internet Engineering Task Force опубликовала новый HTTP-метод QUERY для сложных поисковых запросов. Стандарт совместно разрабатывали инженеры Cloudflare и Akamai.