Рост возможностей AI-моделей увеличивает расходы на их использование

По мере того как AI-модели становятся точнее и лучше справляются со сложными задачами, их эксплуатация обходится компаниям всё дороже. Как пишет Tom's Hardware, одна из причин связана с эффектом token amplification. При каждом новом запросе модель заново обрабатывает всю историю диалога, включая прошлые ответы и загруженные файлы. Из-за этого длинные цепочки взаимодействий требуют всё больше вычислительных ресурсов.

Особенно заметна проблема в агентных сценариях, когда модели выполняют многоэтапные задачи с доступом к CRM, таблицам и другим корпоративным данным. Если простой вопрос может потребовать сотни или тысячи токенов, то сложные процессы с промежуточными вычислениями, поиском информации и несколькими этапами анализа уже расходуют миллионы токенов.

В материале приводится пример задачи стоимостью около $1 при расходе 280 000 токенов. Если такой отчёт запускается каждые 15 минут, затраты вырастают до $96 в день или $2 880 в месяц. Более сложные отчёты могут стоить около $10 за запуск и достигать $28 800 в месяц даже при ограниченном числе пользователей внутри одной компании.

По данным издания, именно поэтому Anthropic, Microsoft и OpenAI в апреле перевели ключевые предложения на модель оплаты по использованию и ограничили расход токенов в фиксированных тарифах.