Исследователи предложили систему оценки рисков для агентных ИИ-систем

Авторы работы TrustX Agent Risk Classification Framework представили методику классификации рисков для агентных ИИ-систем, рассчитанную на корпоративное и государственное использование. Подход описывается как структурированный и повторяемый инструмент, который можно применять к семи типам агентных ИИ-систем.

Как сообщает arXiv cs.AI (Artificial Intelligence), в основе фреймворка находится система оценки по 12 параметрам для количественного измерения риска. Она объединяет модель классификации GPA + IAT и пятиуровневую шкалу автономности, построенную на существующих исследованиях.

В результате система формирует трехуровневую модель управления с рекомендациями по контролю для каждого уровня. Авторы отдельно добавили расширение для Coding Assistant, чтобы учитывать особенности таких агентных систем. В статье также приводится пример практического применения ARC. По словам исследователей, фреймворк планируют регулярно обновлять и расширять.