Как сообщает AWS Machine Learning Blog, Amazon Bedrock AgentCore Evaluations оценивает работу агентов, передающих телеметрию через OpenTelemetry. Сервис поддерживает LangGraph, LlamaIndex, OpenAI Agents SDK, Google ADK, Claude Agent SDK и Strands Agents.
OpenTelemetry представляет выполнение агента в виде трассы из спанов. Каждый спан относится к отдельному этапу запроса и содержит временные метки и атрибуты. В AgentCore runtime инфраструктура ADOT отправляет спаны и записи событий в Amazon CloudWatch.
Сервис различает три роли спанов: верхнеуровневый цикл запроса и ответа, отдельные обращения к модели и вызовы инструментов. Спаны поиска документов, ранжирования, проверки ограничений и работы с памятью отдельно настраивать не требуется. Сервис обрабатывает такие трассы, хотя оценщикам эти дополнительные данные не нужны.
Ключевые факты
Подход охватывает LangGraph, LlamaIndex, OpenAI Agents SDK, Google ADK, Claude Agent SDK и Strands Agents.
В AgentCore runtime инфраструктура ADOT направляет спаны и записи событий в Amazon CloudWatch.
Оценщики используют три роли спанов: цикл запроса и ответа, обращения к модели и вызовы инструментов.
Трассы со спанами поиска документов, ранжирования, проверки ограничений и работы с памятью не требуют специальной настройки.
Вопросы и ответы
- Какие агентные стеки можно подключить к оценке?
Поддерживаются LangGraph, LlamaIndex, OpenAI Agents SDK, Google ADK, Claude Agent SDK и Strands Agents при передаче телеметрии через OpenTelemetry.
- Как данные агента попадают в сервис оценки?
В AgentCore runtime инфраструктура ADOT направляет OpenTelemetry-спаны и записи событий в Amazon CloudWatch.
- Нужно ли отдельно настраивать трассировку поиска, ранжирования и памяти?
Нет. Трассы со спанами поиска документов, ранжирования, проверки ограничений и работы с памятью обрабатываются без специальной настройки; оценщики используют три основные роли спанов: цикл запроса и ответа, обращения к модели и вызовы инструментов.
Контекст по теме
- Оценка агентов и моделей в Gemini Enterprise Agent Platform стала общедоступной16 августа 2026 г.
- Amazon добавила в Bedrock AgentCore функции для расширения знаний и непрерывного улучшения агентов17 июня 2026 г.
- AWS показала пример исследовательского агента на базе LangChain Deep Agents и Bedrock AgentCore15 июня 2026 г.
- AWS представила открытый набор инструментов Agent-EvalKit для оценки AI‑агентов11 июня 2026 г.
