Почему команды путают loop engineering и harness engineering при разработке AI-агентов
При создании AI-агентов команды нередко выбирают не тот инструмент для решения проблемы, из-за чего разработка растягивается на недели или месяцы. Чаще всего речь о путанице между loop engineering, логикой циклов и повторных попыток, и harness engineering, который отвечает за проверки и ограничения перед выполнением действий агентом.
Как сообщает Towards AI, одна команда три недели пыталась исправить поведение coding-агента, который постоянно зацикливался: вносил изменение, ломал один тест, исправлял его и сразу же ломал другой. Разработчики добавили дополнительный слой retry-механизмов, но ситуация стала только хуже.
По словам автора, проблема была не в самом цикле, а в отсутствии механизма проверки безопасности изменений до их применения. Команде нужен был harness, контролирующий допустимость действий агента, а не очередной уровень повторных запусков. Автор также отмечает, что такая путаница сейчас встречается во многих командах и приводит к заметным потерям времени.
Ключевые факты
Одна из команд потратила три недели на попытки исправить бесконечный цикл в coding-агенте
Агент последовательно исправлял один тест и ломал другой, не завершая задачу
Разработчики добавили дополнительный слой retry-механизмов, но проблема стала заметнее
Автор связывает проблему с отсутствием проверки безопасности изменений до применения действий агентом