Разработчик опубликовал open source локальный AI‑переводчик с потоковым выводом

Разработчик под ником HolaTomita показал свой побочный проект: локальное веб‑приложение для машинного перевода с потоковым выводом результатов. Код открыт. Автор выложил его в текущем состоянии, хотя, по его словам, он ещё не полностью отполирован. Идея простая: дать другим возможность форкать проект, дорабатывать его и добавлять новые функции, в том числе с помощью AI‑агентов.

Приложение собрано на FastAPI и PyTorch и использует модели NLLB размером 600M и 1.3B. Поддерживается потоковый перевод, автоматическое определение языка и работа с документами. Проект задуман как полностью локальный инструмент: ему не нужны расходы на API, результат появляется быстро благодаря streaming‑выводу, а зависимость от платных сервисов отсутствует.

Для инференса система использует CTranslate2 или HuggingFace Transformers, выбор зависит от того, что установлено в среде. Если доступен CTranslate2, перевод работает заметно быстрее. Интерфейс сделан как простой UI на Tailwind. Пользователь вводит текст и сразу получает перевод, может переключать модели и языки и наблюдать потоковую выдачу токенов по мере генерации. О проекте и его публикации пишет r/LocalLLaMA (Reddit).