AWS представила открытый набор инструментов Agent-EvalKit для оценки AI‑агентов

AWS представила Agent-EvalKit, open-source toolkit с лицензией Apache 2.0 для систематической оценки AI‑агентов. Инструмент интегрируется с AI coding assistants, включая Claude Code, Kiro CLI и Kilo Code, и переносит процесс проверки прямо в среду разработки. Идея в том, чтобы корректнее оценивать агентов, которые сами выбирают инструменты и строят цепочки действий, ведь обычное тестирование по итоговому ответу часто не показывает, как система вела себя на самом деле.

По данным AWS, для корректной оценки таких систем нужно отслеживать весь путь выполнения: какие инструменты вызывал агент, какие данные они возвращали и насколько финальный ответ им соответствует. Для этого требуется инфраструктура с тестовыми случаями и «ground truth», а также средства наблюдаемости, которые фиксируют вызовы инструментов и промежуточные состояния. Отдельно используются метрики, проверяющие соответствие данным, корректность использования инструментов и качество итогового ответа.

В Agent-EvalKit этот процесс организован через AI coding assistant. Он читает исходный код агента и участвует во всех этапах проверки. Рабочий процесс запускается командами вроде /evalkit.plan и /evalkit.data с инструкциями на естественном языке. После этого инструмент генерирует тестовые случаи, проводит проверки и формирует отчёт с рекомендациями по улучшению, ссылаясь на конкретные места в кодовой базе. В публикации показано, как набор проходит шесть фаз оценки на примере travel research agent, созданного с использованием Strands Agents SDK и Amazon Bedrock.