Как мультиагентная архитектура помогает резко снизить расходы на LLM

Использовать одну и ту же самую мощную модель для любых задач, от сложного планирования до простого форматирования текста, оказывается дорого. Есть более рациональная схема: разделить роли между моделями. Дорогая и сильная модель занимается планированием и разбивает задачу на части, а быстрые и дешёвые берут на себя рутинные операции. По сути это напоминает обычную команду: эксперт определяет стратегию, исполнители выполняют конкретные шаги.
Как пишет Towards AI, разница в цене между уровнями моделей может быть очень большой. Модели frontier‑класса стоят примерно около 5 долларов за миллион входных токенов и 25–30 долларов за миллион выходных. Более доступные варианты, которые подходят для простых операций, могут стоить всего 10–40 центов за миллион токенов, иногда даже дешевле. В целом по рынку цена выходных токенов колеблется от менее чем 30 центов до более чем 30 долларов за миллион, диапазон более чем сто к одному.
На практике это означает простую вещь. Если дорогая модель используется для всего подряд, оплачивается максимальная ставка даже за элементарные действия, например извлечение поля из текста или обычное редактирование. Когда такие задачи передают дешёвым «рабочим» моделям, а сложные рассуждения оставляют «мозгу» системы, расходы резко падают. В одном широко приводимом примере такая архитектура сократила ежемесячные затраты примерно с 10,500 долларов до около 1,500 долларов, то есть на 86%, почти без потери качества. Дорогая модель при этом продолжала выполнять самые сложные части работы. Построить подобную схему можно через обычные API‑вызовы, без специальных фреймворков, библиотек или инструментов.
Ключевые факты
Фронтирные модели стоят около $5 за 1 млн входных токенов и $25–30 за 1 млн выходных токенов.
Бюджетные модели могут стоить примерно $0,10–$0,40 за 1 млн токенов, иногда ещё дешевле.
Разница в цене между дорогими и дешёвыми моделями может достигать 10–100 раз за токен; диапазон цен на выходные токены на рынке, от менее $0,30 до более $30 за 1 млн.
В одном примере переход на схему с несколькими моделями снизил расходы с примерно $10 500 в месяц до около $1 500, что соответствует сокращению на 86%.