Comet рассказала, как оптимизация MCP-сервера сократила накладные расходы на промпты примерно в 100 раз

Comet рассказала о внутренних инженерных изменениях, которые привели к запуску продукта Cost Intelligence для анализа расходов на ИИ. В компании говорят, что команды все чаще пытаются снижать затраты на модели без жестких ограничений для разработчиков по токенам и контексту, потому что такие меры нередко бьют по продуктивности вместо того, чтобы давать реальную экономию.

Как пишет Comet ML (Fully Connected / blog), внутри компании параллельно оптимизировали работу платформы Opik и использование токенов Claude Code для собственных инженерных задач. В итоге появился Cost Intelligence. По данным Comet, инструмент уже помогает клиентам сокращать расходы на ИИ на 10–40% без потери производительности.

Отдельно в компании изучили работу собственного локального MCP-сервера. После запуска системы измерения затрат выяснилось, что обслуживание MCP стоило тысячи долларов в год при примерно сотне вызовов инструментов в месяц. Также Comet обнаружила, что часть инструментов не использовалась ни разу за три месяца, хотя их схемы при этом миллионы раз отправлялись языковым моделям и увеличивали размер промптов.

После этого Comet полностью переработала MCP. Вместо десятков узкоспециализированных инструментов компания перешла к меньшему набору composable CRUD-style операций с механизмами самораскрытия документации. По словам компании, это сократило prompt overhead примерно в 100 раз и одновременно упростило моделям работу с интерфейсом.