Исследователи представили Vera, систему для автоматизированного тестирования безопасности LLM-агентов, выполняющих автономные действия через внешние инструменты. По словам авторов, чем сложнее становятся такие агенты, тем выше риски. При этом существующие методы проверки обычно опираются на заранее заданные сценарии нарушений и жёстко прописанные правила оценки.
Как пишет arXiv cs.AI (Artificial Intelligence), Vera работает по трёхэтапной схеме поиска и проверки рисков. Сначала система анализирует научные публикации и собирает таксономии угроз, методов атак и сред выполнения инструментов. После этого она комбинирует элементы этих таксономий в исполнимые сценарии тестирования. Для каждого сценария задаются конкретные цели безопасности, начальные условия и детерминированные критерии проверки.
На третьем этапе агенты запускаются в изолированных sandbox-средах. Управляющий агент проводит многошаговое взаимодействие, опираясь на наблюдения во время выполнения. Проверка результатов строится на наблюдаемых артефактах, а не только на текстовых ответах модели. Авторы рассматривают Vera как подход к масштабируемому тестированию недетерминированных LLM-агентов.
Ключевые факты
Vera использует трёхэтапный self-reinforcing pipeline для тестирования безопасности LLM-агентов
Система формирует таксономии рисков безопасности, методов атак и сред выполнения инструментов на основе анализа литературы
Исполнимые safety-сценарии включают цель безопасности, программно созданное начальное состояние и детерминированный критерий проверки
Тестирование проводится в изолированных sandbox-средах с многошаговым взаимодействием агентов