Как сообщает Arize AI Blog, встроенная в Arize AX система Signal проанализировала производственные трассировки AI-агента Alyx. Она обнаружила два повторяющихся сбоя, которые обычный мониторинг принимал за штатную активность. Signal объединяет похожие модели поведения в группы, ранжирует проблемы и формирует расследования с подтверждающими данными, оценкой влияния и предложением следующего шага.
В первом случае Alyx снова пытался изменить состояние задачи, хотя нужный переход уже успешно завершился. Проблему решили так: повторное присвоение того же состояния стало считаться успешной операцией, не требующей изменений.
Второй сбой возникал из-за пустого необязательного поля. Оно направляло запрос по неверному пути проверки, а сообщение об ошибке каждый раз возвращало агента к одному и тому же инструменту. За 227 секунд Alyx вызвал get_datasets 43 раза и создал 192 сегмента трассировки. При этом корневой сегмент сохранил статус OK.
За 30 дней Signal выявил в производственных трассировках Alyx 34 проблемы, в том числе эти два цикла. Чтобы устранить второй сбой, пустые необязательные значения стали преобразовывать в None на границе инструмента.
Ключевые факты
За 30 дней Signal выявил 34 проблемы в производственных трассировках Alyx.
Одно выполнение длилось 227 секунд и создало 192 сегмента трассировки.
Инструмент get_datasets был вызван 43 раза из-за пустого необязательного поля.
Повторное присвоение задаче того же состояния стали считать успешной операцией без изменений.
Вопросы и ответы
- Почему обычный мониторинг не заметил сбой?
Корневой сегмент сохранял статус OK, хотя выполнение длилось 227 секунд, создало 192 сегмента трассировки и 43 раза вызвало get_datasets.
- Что изменили в логике агента после диагностики?
Повторное присвоение уже установленного состояния стали считать успешной операцией без изменений, а пустые необязательные значения преобразовывать в None на границе инструмента.
- Как Signal помогает при разборе подобных сбоев?
Система группирует схожие модели поведения в ранжированные проблемы и формирует расследования с подтверждающими данными, оценкой влияния и предлагаемым следующим шагом; за 30 дней она выявила 34 проблемы.
Контекст по теме
- Trace представил систему для автономных ИИ-агентов со снижением Sybil-мошенничества на 86%10 июля 2026 г.
- На AI Engineer World’s Fair обсуждают «циклы» и переход к «фабрикам ПО» с AI-агентами1 июля 2026 г.
- Orchid, локальный прокси для записи и воспроизведения вызовов в AI‑агентских пайплайнах24 июня 2026 г.
- OpenAI расширяет Codex и ускоряет агентные рабочие процессы, а экосистема инструментов добавляет новые возможности9 июня 2026 г.