Исследователь рассказал об эксперименте с автоматической редакцией документов. В основе локально развернутая модель Qwen 3.6 27B и агентное окружение на базе Pi. Такая задача непростая: системе нужно одновременно распознавать текст и изображения, удерживать длинный контекст и строго соблюдать правила удаления чувствительных данных.
Как сообщает r/LocalLLaMA (Reddit), автор уже пробовал строить агентные рабочие процессы с разными LLM. В этих тестах Sonnet 4.6 показала хорошие результаты. Локальные модели, включая Qwen 3.6 27B, поначалу справлялись заметно хуже.
Ситуацию удалось улучшить после настройки параметров и самой агентной обвязки. Автор называет итоговый результат «приемлемым». Среди ключевых изменений более высокий уровень квантования, Q6 вместо Q4. Также были переработаны промпты и набор навыков внутри минимального агентного окружения. Для работы с системой сделали интерфейс на базе Gradio. Пользователь загружает документ, передает инструкции по редактированию и запускает задачу. В чате можно наблюдать, какие инструменты использует агент и как продвигается выполнение.
В этой архитектуре Qwen 3.6 27B работает локально и выполняет сразу две функции. Она выступает агентной моделью и одновременно VLM-модулем внутри основного приложения Redaction. Само приложение занимается специализированными задачами, например обнаружением лиц и подписей. Код проекта опубликован в репозитории doc_redaction. Там описаны компоненты для запуска агентного интерфейса редактирования и основного приложения. По словам автора, пользователь может вмешаться в процесс прямо во время выполнения или отправить дополнительные инструкции после того, как обработка документа завершена.
Ключевые факты
В эксперименте использовалась локально развернутая модель Qwen 3.6 27B как агентная модель и как VLM для задач вроде обнаружения лиц и подписей.
После оптимизации автор применил квантование Q6 вместо Q4 и настроенные промпты и навыки в минимальном агентном окружении Pi.
Модель запускалась локально с контекстом 114688 токенов и KV‑кэшем, квантованным до 8 бит, на системе с 40 ГБ VRAM.
Интерфейс взаимодействия с агентом реализован как приложение на базе Gradio, позволяющее загружать документы и задавать инструкции для редактирования.