Исследователи представили Vera для автоматизированного тестирования безопасности LLM-агентов

Исследователи представили Vera, систему для автоматизированного тестирования безопасности LLM-агентов, выполняющих автономные действия через внешние инструменты. По словам авторов, чем сложнее становятся такие агенты, тем выше риски. При этом существующие методы проверки обычно опираются на заранее заданные сценарии нарушений и жёстко прописанные правила оценки.

Как пишет arXiv cs.AI (Artificial Intelligence), Vera работает по трёхэтапной схеме поиска и проверки рисков. Сначала система анализирует научные публикации и собирает таксономии угроз, методов атак и сред выполнения инструментов. После этого она комбинирует элементы этих таксономий в исполнимые сценарии тестирования. Для каждого сценария задаются конкретные цели безопасности, начальные условия и детерминированные критерии проверки.

На третьем этапе агенты запускаются в изолированных sandbox-средах. Управляющий агент проводит многошаговое взаимодействие, опираясь на наблюдения во время выполнения. Проверка результатов строится на наблюдаемых артефактах, а не только на текстовых ответах модели. Авторы рассматривают Vera как подход к масштабируемому тестированию недетерминированных LLM-агентов.