SLM становятся отдельным архитектурным слоем в AI-агентах

Исследователи и разработчики всё чаще используют small language models (SLM) в агентных системах для узких повторяющихся задач вместо крупных универсальных моделей. Как пишет KDnuggets, этот подход опирается на работу NVIDIA Research «Small Language Models are the Future of Agentic AI». В ней говорится, что большинству агентных сценариев не нужна модель, рассчитанная на открытый диалог и широкий набор задач.

В материале отмечают, что агенты обычно выполняют ограниченный набор операций: разбирают команды, выбирают инструменты или возвращают данные в фиксированном формате JSON. Для таких задач небольшие модели после дообучения могут оказаться стабильнее и дешевле, чем крупные LLM общего назначения. При этом большие модели по-прежнему важны для более сложных и открытых сценариев рассуждения.

Отдельно авторы рассматривают перенос инференса с удалённых серверов на локальные устройства. По данным статьи, edge-инференс занимает десятки миллисекунд, тогда как обращение к дата-центру требует сотен миллисекунд. В качестве примеров приводятся Apple A19 Pro, способный запускать модели на 8 млрд параметров со скоростью более 20 токенов в секунду, а также Apple M5 Max с поддержкой моделей до 30B параметров при приемлемой задержке.

Распространение локальных AI-агентов материал также связывает с развитием квантизации. В статье приводится пример Phi-4-Mini: после сжатия до 4-битной точности модель занимает около 1,2 ГБ памяти вместо 7,6 ГБ и при этом сохраняет более 95% результатов на бенчмарках. Среди популярных инструментов для локального запуска упоминаются Ollama и семейство моделей Phi от Microsoft.