Логи клинического ИИ-агента превратились в базу медицинских данных пациентов

Разработчик локального клинического ИИ-агента выяснил, что система наблюдаемости и трассировки сохраняла персональные медицинские данные в открытом виде. В trace viewer были видны полное имя пациента, дата рождения и номер телефона, а сама observability-инфраструктура по сути превращалась в отдельную базу PHI.

Как пишет Towards AI, автор попробовал решить проблему стандартным методом, редактированием trace-данных перед экспортом. Для этого он подключил Presidio, библиотеку Microsoft для обнаружения PII, собрал набор из 752 PHI-сущностей на основе 40 синтетических медицинских заметок и проверил, какие данные продолжают утекать.

Система маскирования сработала корректно, но механизм обнаружения PHI всё равно пропустил 135 случаев. После доработки число ошибок удалось сократить до 17. Во время эксперимента автор также заметил, что редактирование исходной медицинской заметки не удаляет автоматически те же данные из trace-цепочек. Имя пациента может повторяться в извлечениях, вызовах инструментов и промежуточных рассуждениях модели.