Разработчик создал Prompt-Chain, инструмент для автоматической смены LLM на видеокартах с 8 ГБ VRAM
Разработчик показал инструмент Prompt-Chain для работы сразу с несколькими LLM на системах с ограниченной видеопамятью. Как сообщает r/LocalLLaMA (Reddit), идея выросла из практической проблемы. Когда у машины всего 8GB VRAM, держать в памяти две модели одновременно не получается, поэтому при тестировании приходилось вручную выгружать одну и загружать другую.
Prompt-Chain сделан как приложение на Streamlit и связывает две модели в один рабочий конвейер. Пользователь вводит короткую идею, например «make a snake game in React». Небольшая и быстрая модель «Prompter» (к примеру, Phi-4 Mini) превращает эту фразу в подробный промпт. Его можно просмотреть и при необходимости поправить. После этого система автоматически переключает VRAM: Prompter выгружается, затем подгружается более крупная модель для генерации кода, например Qwen 2.5 Coder 14B. Готовый результат показывается на экране и одновременно сохраняется в файл.
Автор пишет, что такой подход избавляет от ручного переключения моделей. Есть и практический бонус при работе с облачными API: крупная модель получает уже хорошо сформулированный запрос, поэтому тратится меньше токенов и средств. В системе можно отдельно выбрать бэкенды для ролей Prompter и Coder, среди поддерживаемых LM Studio, Ollama, OpenAI, Claude, Gemini. Также есть автоматическое определение моделей на сервере и 25 встроенных пресетов, включая Web Dev, Games, Data и CLI. Дополнительно предусмотрена функция Refine-in-place, она позволяет менять код новыми инструкциями без полной регенерации. История запусков сохраняется между перезапусками, а файлы выводятся с автоматическим определением языка и сохраняются с временными метками.
Ключевые факты
Разработчик создал инструмент Prompt-Chain для работы с LLM на GPU с 8GB VRAM, чтобы избежать ручной выгрузки и загрузки моделей.
Приложение реализовано как Streamlit‑интерфейс и объединяет две модели в один пайплайн: небольшой Prompter (например, Phi-4 Mini) переписывает запрос, после чего более крупная модель для кода (например, Qwen 2.5 Coder 14B) генерирует результат.
Инструмент автоматически переключает VRAM: после подготовки запроса Prompter выгружается, затем загружается модель Coder.
В системе предусмотрено 25 встроенных пресетов (Web Dev, Games, Data, CLI и др.) и возможность выбирать разные бэкенды для ролей Prompter и Coder, включая LM Studio, Ollama, OpenAI, Claude и Gemini.