Большие языковые модели всё чаще рассматривают как способ упростить доступ к клинической информации. С ними можно взаимодействовать на естественном языке, опираясь на медицинские знания. Но применение таких систем в медицинских вопросно‑ответных сервисах относится к особенно чувствительным сценариям. Ошибочный или несогласованный ответ способен привести к серьёзному вреду для пациентов.
Один из способов снизить риски называют AI control. Речь идёт о внешних механизмах контроля, которые должны предотвращать небезопасное поведение системы. Подобные подходы уже показывали результат, например в задачах генерации кода. При этом их применимость в медицинских сценариях до сих пор не изучалась системно, пишет arXiv cs.AI (Artificial Intelligence).
Авторы работы предложили специальный конвейер для оценки протоколов AI control, нацеленных на снижение вреда, связанного с применением лекарств. Для проверки они создали бенчмарк DrugBench. Он объединяет 3,671 многошаговых медицинских диалога из HealthBench и сведения о препаратах из официальных маркировок FDA. Набор охватывает четыре категории потенциального вреда: drug interactions, contraindications, dosing constraints, patient action restrictions.
Ключевые факты
В работе представлен DrugBench, бенчмарк для оценки протоколов AI control, направленных на снижение вреда, связанного с лекарствами.
DrugBench объединяет 3,671 многошаговых медицинских диалога из HealthBench с информацией о препаратах из официальных FDA labels.
Бенчмарк охватывает четыре категории потенциального вреда: drug interactions, contraindications, dosing constraints и patient action restrictions.
Статья опубликована на arXiv как препринт arXiv:2606.20663v1.