DrugBench: бенчмарк для оценки протоколов контроля ИИ в вопросах безопасности лекарств

Большие языковые модели всё чаще рассматривают как способ упростить доступ к клинической информации. С ними можно взаимодействовать на естественном языке, опираясь на медицинские знания. Но применение таких систем в медицинских вопросно‑ответных сервисах относится к особенно чувствительным сценариям. Ошибочный или несогласованный ответ способен привести к серьёзному вреду для пациентов.

Один из способов снизить риски называют AI control. Речь идёт о внешних механизмах контроля, которые должны предотвращать небезопасное поведение системы. Подобные подходы уже показывали результат, например в задачах генерации кода. При этом их применимость в медицинских сценариях до сих пор не изучалась системно, пишет arXiv cs.AI (Artificial Intelligence).

Авторы работы предложили специальный конвейер для оценки протоколов AI control, нацеленных на снижение вреда, связанного с применением лекарств. Для проверки они создали бенчмарк DrugBench. Он объединяет 3,671 многошаговых медицинских диалога из HealthBench и сведения о препаратах из официальных маркировок FDA. Набор охватывает четыре категории потенциального вреда: drug interactions, contraindications, dosing constraints, patient action restrictions.