Databricks: стоимость AI-задач зависит не только от цены токенов, но и от доли успешных ответов

Databricks провела внутреннее тестирование AI-моделей для программирования и пришла к выводу: низкая цена токенов не всегда означает меньшие расходы на выполнение задач. Вместо публичных бенчмарков вроде SWE-Bench компания сравнивала модели на реальных инженерных задачах своих сотрудников. CTO Databricks Матея Захария считает, что такой подход точнее показывает практическую стоимость и качество работы AI-агентов.

Как сообщает The Register, во время оценки open weight-модель GLM 5.2 от Z.ai показала качество, сопоставимое с Opus 4.8 от Anthropic. По данным Databricks, выполнение одной задачи с GLM 5.2 обходилось в 1,28 $, а с Opus 4.8, в 1,94 $. В компании отдельно подчеркнули, что расчёты только по стоимости токенов могут быть обманчивыми. Например, Sonnet 5 был примерно в 1,7 раза дешевле Opus 4.8 по цене токенов, но стоимость выполнения задачи у него оказалась выше: 2,09 $ против 1,94 $.

В Databricks также обратили внимание на влияние так называемых harness, программных оболочек вроде Claude Code, OpenAI Codex и Pi. Они управляют взаимодействием модели с инструментами и контекстом. По словам Захарии, простая оболочка Pi обеспечила такую же долю успешного выполнения задач, как и решения от поставщиков LLM, при этом стоимость была вдвое ниже. Одной из причин он назвал меньший объём контекста. Для Opus 4.8 через Claude Code компания измерила 742 тыс. токенов контекста на задачу, у Pi этот показатель составил 236 999.