Небольшой бенчмарк LLM для медицинских заметок показал: пропуски фактов встречаются чаще галлюцинаций

Автор небольшого исследования протестировал 8 frontier‑моделей LLM для задачи медицинского стенографирования. Для оценки подготовили 300 синтетических диалогов врача и пациента. Каждая модель по этому разговору должна была составить SOAP‑заметку. Затем результаты разбирала панель из 4 моделей‑судей. Они оценивали несколько параметров: качество текста, галлюцинации, пропущенные факты безопасности, стоимость и скорость. О ходе эксперимента рассказывают в r/LocalLLaMA (Reddit).

Всего получилось 2 400 заметок. В них обнаружили 12 подтверждённых галлюцинаций с высоким влиянием и 520 пропущенных фактов, связанных с безопасностью. По итогам этого бенчмарка именно пропуски значимых деталей из диалога оказались более частой проблемой, чем галлюцинации.

Если смотреть на отдельные модели, GPT-5.4-mini показала хорошие результаты с учётом стоимости и скорости. Claude Sonnet и DeepSeek получили самые высокие оценки за качество текста. При этом DeepSeek оказался недорогим и писал хорошо, но часто пропускал факты безопасности. Сам по себе больший размер модели не гарантировал лучший итог. У Claude Opus зафиксировали меньше всего пропусков, однако качество текста оценили ниже. Kimi, в свою очередь, не показал подтверждённых галлюцинаций, но в этой конфигурации оказался медленным и дорогим.

Автор также выложил репозиторий с транскриптами диалогов, ответами моделей, скриптами оценки и таблицей результатов. В планах провести аналогичную проверку для моделей, которые можно запускать локально. Отдельно исследователь рассматривает подход с «обёрткой», привязанной к транскрипту. Такая схема может помогать находить пропущенные факты и помечать неподтверждённые утверждения. Потенциально это делает модели вроде DeepSeek более пригодными для безопасных конвейеров подготовки клинических заметок.