Новости

Инженер показал локального ассистента с «памятью» на базе 4B‑модели и пайплайна distill‑on‑idle

Обновлено: 29 июня 2026 г.

Почему это важно

Подход показывает, как локальные ассистенты могут строиться вокруг небольшой модели, если основная работа распределена между специализированными компонентами системы и продуманным поиском по контексту. Это может означать, что практическая ценность on‑device AI зависит не столько от размера модели, сколько от архитектуры пайплайна: извлечения данных, индексации и фоновой обработки. Такой дизайн укладывается в тренд попыток запускать полезные AI‑инструменты прямо на пользовательских устройствах без постоянной зависимости от облачных API.

Разработчик описал архитектуру локального AI‑ассистента, который превращает записи экрана и стенограммы встреч в базу заметок с возможностью поиска. В проекте используются модели, которые нормально работают прямо на ноутбуке. Как сообщает r/LocalLLaMA (Reddit), главная задача состояла в том, чтобы обрабатывать такие данные без постоянной загрузки GPU и без заметного расхода батареи.

Компоненты системы разделены по ролям. Распознавание текста выполняется на устройстве через Apple Vision framework, поэтому языковая модель не тратит токены на чтение пикселей. После этого модель Gemma класса 4B в фоновом режиме сводит собранные данные в заметки по проектам. Такая «дистилляция» запускается пакетами в периоды простоя, благодаря чему интерфейс остаётся отзывчивым во время активной работы.

Поиск сделан гибридным. Для точных и лексических совпадений используется SQLite FTS, а за семантический поиск отвечает LanceDB. Автор отмечает, что чисто векторный подход часто пропускал точные идентификаторы, например номера тикетов или строки ошибок. Один только FTS, наоборот, хуже справлялся с перефразированными запросами. Когда методы объединили, система стала работать устойчивее. Также подчёркивается, что небольшие модели дают приемлемый результат, если им передать короткий и действительно релевантный контекст, который заранее отобрала система поиска.

Проект ориентирован на macOS с Apple Silicon и активно использует ScreenCaptureKit и Neural Engine. На Intel он тоже запускается, однако OCR и инференс там заметно медленнее. Среди ограничений автор упоминает слабое качество diarization, когда в записи несколько людей говорят одновременно. Код опубликован под лицензией AGPL и распространяется в виде исходников.

Ключевые факты

Ассистент обрабатывает захваты экрана и транскрипты встреч, а 4B‑класса модель Gemma суммаризирует их в заметки по проектам, выполняя дистилляцию пакетами во время простоя системы.
OCR выполняется локально через фреймворк Apple Vision, поэтому LLM не обрабатывает пиксели и не тратит токены на распознавание текста.
Поиск реализован гибридом: точный и лексический поиск через SQLite FTS объединён с семантическим поиском через LanceDB.
Проект ориентирован на macOS с Apple Silicon и использует ScreenCaptureKit и Neural Engine; исходный код опубликован под лицензией AGPL в репозитории GitHub off-grid-ai/desktop.