Inference engineering становится отдельным фактором затрат на LLM
Между самой моделью и итоговым счётом за использование LLM появился отдельный слой оптимизации, который авторы называют inference engineering. Сюда относятся настройки и механизмы вроде FP8 KV cache, prompt caching, quantization, speculative decoding и MoE routing. Именно они влияют на стоимость и производительность инференса.
Как пишет Towards AI, команда из пяти инженеров за месяц работы с Claude Code, агентными вызовами и tool-heavy calls на Sonnet 4.6 потратила около 4800 $. Из этой суммы непосредственно на Sonnet пришлось 960 $, остальные 3840 $ ушли на инфраструктурный слой инференса.
В первой половине 2026 года сразу несколько инструментов получили обновления в этой области. В апреле vLLM добавил FP8 KV cache: attention memory теперь хранится в 8-битных float вместо 16-битных. Это дало около 15% прироста throughput на Llama-3.1-8B.
В марте Ollama выпустил MLX, tensor framework Apple для Mac на M-series. Благодаря этому скорость генерации токенов у Qwen3.5-35B на M5 Max почти удвоилась.
Обновился и prompt cache от DeepSeek, который повторно использует заранее вычисленное attention state при совпадении префиксов промпта. На повторяющихся запросах он начал работать в 120 раз дешевле.
Ключевые факты
Команда из пяти инженеров потратила около 4800 $ за месяц работы с Claude Code и agent turns на Sonnet 4.6
Из общей суммы 960 $ пришлись на Sonnet, а 3840 $, на слой инференса и сопутствующую инфраструктуру
В апреле vLLM добавил FP8 KV cache, что дало около 15% прироста throughput на Llama-3.1-8B
MLX от Ollama почти удвоил скорость генерации токенов у Qwen3.5-35B на M5 Max