T2D-Bench проверяет рекомендации LLM по диабету на соответствие доказательствам
Исследователи представили T2D-Bench, воспроизводимый бенчмарк и систему evidence-gated оценки, предназначенные для проверки того, соответствуют ли ответы больших языковых моделей явным требованиям к доказательной базе при обсуждении сахарного диабета 2 типа. Работа исходит из проблемы: LLM способны формулировать клинически правдоподобные рекомендации, но при этом не соблюдать ограничения руководств или не обосновывать утверждения о влиянии образа жизни на уровень глюкозы.
Как сообщает arXiv cs.AI (Artificial Intelligence), основой T2D-Bench служит многоуровневый клинико‑лайфстайл граф знаний. Он объединяет биомедицинский «каркас» из UMLS, DrugBank и SIDER, вычислимые правила ADA Standards of Care и знания об образе жизни, связанные с лабораторными гликемическими эффектами через механистический мост. Бенчмарк включает 100 структурированных виньеток, охватывающих диагностику, безопасность медикаментов и конфликтные сценарии, связанные с образом жизни.
В испытаниях базовые ответы моделей не проходили проверки по требуемым путям доказательств в 35% случаев для GPT-4o-mini и в 33% для GPT-4o. В системе используется «evidence gate», который выявляет неподтвержденные пропуски и применяет ограниченную ревизию, чтобы привести ответы к соответствию требованиям доказательств, заданным бенчмарком. Авторы отмечают, что такие вычислимые ограничения позволяют явно фиксировать и измерять клинически значимые пробелы в ответах моделей.
Ключевые факты
В работе представлен T2D-Bench, воспроизводимый бенчмарк и фреймворк evidence-gated оценки, проверяющий соответствие ответов LLM по теме type 2 diabetes явным требованиям к доказательным связям.
T2D-Bench построен на многоуровневом clinical-lifestyle knowledge graph, который объединяет UMLS, DrugBank, SIDER, вычислимые правила ADA Standards of Care и знания о lifestyle-факторах, связанных с лабораторными glycemic-эффектами.
В тесте из 100 структурированных клинических vignette базовые ответы не прошли проверки evidence-path в 35% случаев у GPT-4o-mini и в 33% случаев у GPT-4o.
Механизм evidence gate выявляет неподтверждённые пропуски в ответах и применяет constrained revision, чтобы привести выводы модели к соответствию требованиям доказательных связей бенчмарка.