Бенчмарк ARC-AGI-3 выявил разрыв между людьми и текущими моделями

@arcprize и François Chollet представили бенчмарк ARC-AGI-3, который нацелен на проверку общего агентного рассуждения. В тесте люди решают 100% задач, тогда как текущие модели показывают результат ниже 1%, разрыв остается огромным. Основной упор сделан на zero-preparation generalization и на эффективность обучения, максимально приближенную к человеческой.

Протокол подсчета результатов вызвал обсуждение в сообществе. Причина в строгой метрике, основанной на эффективности. Ее сопоставляют с подходами из предыдущих версий ARC и с практиками других бенчмарков, например NetHack. В дискуссии часто звучит мысль, что ARC-AGI-3 хорошо подсвечивает слабые места нынешних LLM-агентов, особенно когда они работают в интерактивных средах с редкой обратной связью.

Параллельно развивается инфраструктура для агентных систем. LangChain объявила о запуске Fleet shareable skills, механизма для повторного использования доменных знаний. Anthropic показала Claude Code auto mode с classifier-mediated approval, который помогает удерживать баланс между автономной работой и ручным подтверждением. Браузерные и кодовые агенты тоже постепенно меняются: их пытаются превратить в обучаемые системы, а не просто в prompt wrappers. В качестве примера приводят сотрудничество BrowserBase и Prime Intellect.