Разработчик закрыл сервис записи к врачам на базе LLM после месяцев проблем в продакшене

Разработчик из сообщества r/LocalLLaMA (Reddit) рассказал, что его команда закрыла сервис на базе LLM, который развивала больше полугода. Это был AI‑ассистент для мессенджеров: он помогал пациентам записываться к врачам частных клиник. По словам автора, проект изначально делали как коммерческий продукт для клиентов, но постоянные сбои и ошибки моделей со временем сделали поддержку слишком сложной.

Автор пишет, что за последние восемь месяцев качество open source‑моделей заметно выросло и стало «конкурентоспособным» для персонального использования. Но в связке «LLM‑сервис → клиент → конечный пользователь» проблемы проявляются куда острее. Заказчики ждут стабильного результата, тогда как модели продолжают ошибаться и отвечают нестабильно.

В проекте использовались OpenRouter и модели GLM 4.5, 5.0 и 5.2, Deepseek, Mimo, Qwen, ChatGPT, Claude и Minimax. Разработчик утверждает, что даже официальные провайдеры моделей иногда возвращали пустые ответы вместо сообщений об ошибке. При этом fallback‑провайдеры могли переставать работать одновременно.

Дополнительные сложности возникли с PydanticAI. Библиотека упростила интеграцию API и инструментов, однако в продакшене, по словам автора, проявились проблемы совместимости sync‑архитектуры с async‑механизмами. В отдельных случаях процессы просто зависали.

Еще одной проблемой автор назвал ненадежность структурированного вывода. Несмотря на поддержку Pydantic‑моделей в PydanticAI, LLM, как он утверждает, регулярно генерировали некорректные структуры данных даже для простых пользовательских запросов. Проверка и повторная генерация ответов иногда запускали цикл неудачных попыток, после чего агент завершался исключением.