Исследователи представили HASTE, систему накопления навыков для ML-агентов

Исследователи представили систему HASTE, которая должна снижать вычислительные затраты ML-агентов за счёт повторного использования накопленных навыков между соревнованиями. Авторы отмечают, что многие инженерные агенты для машинного обучения каждый раз фактически начинают работу с нуля и заново приходят к уже известным техникам.

Как пишет arXiv cs.AI (Artificial Intelligence), HASTE представляет собой иерархическую мультиагентную систему с тремя уровнями знаний: глобальным, доменным и относящимся к конкретному соревнованию. Для каждого уровня предусмотрен свой тип агентов. Координацией занимается оркестратор, который переносит знания между уровнями через абстракции на базе LLM.

В контролируемом тесте с фиксированным набором из 159 навыков на 8 соревнованиях многоуровневая загрузка навыков показала 100% medal rate. При плоской загрузке результат составил 62,5%, такой же показатель был и при полном отсутствии загрузки навыков. При этом система использовала вдвое больше output tokens.

На бенчмарке MLE-Bench Lite, включающем 22 соревнования Kaggle, система достигла medal rate 77,3% при использовании Claude Sonnet 4.6 и лимите 12 часов на одно соревнование.

Авторы отдельно сравнили сценарии cold-start и warm-start. В первом случае система работала без накопленных навыков, во втором повторно использовала знания из предыдущих соревнований, опираясь только на глобальные и доменные навыки. По данным исследования, режим warm-start потребовал на 52% меньше refinement iterations.