GitHub описал подход к проверке ИИ-агентов через обязательные состояния

GitHub представил метод валидации ИИ-агентов, который проверяет не точное совпадение шагов, а достижение обязательных состояний. Подход рассчитан на агентов с Computer Use: одну и ту же задачу они могут выполнять по-разному, например через меню или горячие клавиши, с задержкой загрузки или без неё. Как пишет Tproger, для этого используется независимый Trust Layer, обучаемый на примерах успешных запусков.

Метод строится на модели «ground truth», которую собирают из 2–10 корректных выполнений. После этого новые прогоны оцениваются по структуре поведения, а не по жёсткому сценарию. Для анализа используются Prefix Tree Acceptor и dominator analysis. В эксперименте Trust Layer показал 100% accuracy, precision, recall и F1. Внутренняя самооценка агента получила 82,2%, 83,3%, 60,0% и 69,8% соответственно.

В GitHub отмечают, что классические подходы плохо подходят для недетерминированных агентов. Assertion-based testing требует вручную описывать проверки и не учитывает альтернативные пути выполнения. Record-and-replay чувствителен к задержкам и изменениям интерфейса. Visual regression не понимает контекст выполнения, а ML-оракулы требуют больших объёмов обучающих данных и плохо объясняют результаты. Trust Layer делит выполнение на обязательные состояния, опциональные вариации и сходящиеся пути. За счёт этого система отличает реальные ошибки от инфраструктурного «шума».