Исследование предлагает измерять «интеллект» агентных систем через сжатие информации

Работа из препринта предлагает способ оценивать возможности агентных систем на базе больших языковых моделей через идею «сжатие равно интеллекту». Авторы пишут, что такие модели все чаще ведут себя не как изолированные предсказатели. Они работают как агентные системы: вызывают инструменты, извлекают данные, учитывают ограничения среды, подключают проверяющие механизмы и решают задачи через поиск и многошаговое взаимодействие.

В предложенной аналитической схеме интеллект рассматривается как способность восстановить целевой объект, используя меньшее число бит при фиксированных условиях, распределении задач, интерфейсе и вычислительном бюджете. Логика простая: чем сильнее агентная система, тем короче код, который нужен для реконструкции данных. Как сообщает arXiv cs.AI (Artificial Intelligence), для практического измерения авторы применяют arithmetic coding, seed coding и механизм fallback.

Метод проверили в пяти контролируемых сценариях: reversed text, chess moves, protein sequences, retrieval-augmented question answering и semantic story compression. Во всех экспериментах добавление агентных компонентов сокращало длину кода. По словам авторов, такие тесты позволяют увидеть, как отдельные компоненты, наблюдатели и ограничения вычислительного бюджета влияют на остаточную неопределенность. В качестве практической меры для оценки реальных агентных систем они предлагают использовать метрику длины кода.