Разработчик показал agent‑harness для небольших локальных моделей и управление серверами через Qwen
Разработчик под ником Invader-Faye представил собственный agent harness для небольших локальных языковых моделей. По его словам, большинство существующих агентных обвязок для таких моделей подходят плохо. Они часто дают неудачные вызовы инструментов, слабо работают с переменными окружения, плохо восстанавливаются после типичных сбоев и с трудом отслеживают состояние задач.
Автор добавляет, что небольшие модели при работе с локальным backend могут просто останавливаться во время генерации. Кроме того, существующие решения не всегда корректно разделяют локальные и удалённые задачи. Поэтому он решил сделать собственный harness, изначально рассчитанный на особенности локальных моделей, в том числе семейств Qwen и Gemma.
В демонстрациях показано, как Qwen 3.69b управляет серверами, а Qwen 3.5 4b, удалёнными серверами через созданную систему. Как сообщает r/LocalLLaMA (Reddit), в репозитории проекта описаны техники, которые позволили добиться таких результатов. При этом сам автор подчёркивает, что проекту ещё требуется доработка и повышение стабильности.
Ключевые факты
Разработчик Invader-Faye создал agent harness, ориентированный на локальные модели семейств Qwen и Gemma
В демонстрации модель Qwen 3.69b управляет серверами через разработанную систему
Модель Qwen 3.5 4b показана в сценарии управления удалёнными серверами
Автор указывает на типичные проблемы small‑моделей в существующих agent‑harness: сбои tool calls, слабая работа с переменными окружения и остановки генерации при локальном backend