@arcprize и François Chollet представили бенчмарк ARC-AGI-3, который нацелен на проверку общего агентного рассуждения. В тесте люди решают 100% задач, тогда как текущие модели показывают результат ниже 1%, разрыв остается огромным. Основной упор сделан на zero-preparation generalization и на эффективность обучения, максимально приближенную к человеческой.
Протокол подсчета результатов вызвал обсуждение в сообществе. Причина в строгой метрике, основанной на эффективности. Ее сопоставляют с подходами из предыдущих версий ARC и с практиками других бенчмарков, например NetHack. В дискуссии часто звучит мысль, что ARC-AGI-3 хорошо подсвечивает слабые места нынешних LLM-агентов, особенно когда они работают в интерактивных средах с редкой обратной связью.
Параллельно развивается инфраструктура для агентных систем. LangChain объявила о запуске Fleet shareable skills, механизма для повторного использования доменных знаний. Anthropic показала Claude Code auto mode с classifier-mediated approval, который помогает удерживать баланс между автономной работой и ручным подтверждением. Браузерные и кодовые агенты тоже постепенно меняются: их пытаются превратить в обучаемые системы, а не просто в prompt wrappers. В качестве примера приводят сотрудничество BrowserBase и Prime Intellect.
Ключевые факты
Бенчмарк ARC-AGI-3 представлен @arcprize и François Chollet; люди решают 100% задач, тогда как текущие модели, менее 1%.
Протокол оценки ARC-AGI-3 вызвал дискуссию из‑за жесткой метрики эффективности по сравнению с предыдущими версиями ARC и бенчмарком NetHack.
LangChain представила Fleet, механизм shareable skills для повторного использования доменных знаний в агентных системах.
Anthropic раскрыла режим Claude Code auto mode с посредником‑классификатором для согласования автономных действий и ручного подтверждения.