Разработчик описал скрытые затраты пайплайнов, где ИИ пишет большую часть тестов

Исследователь, который занимается методологией тестирования с использованием LLM, рассказал о практических ограничениях систем, где ИИ генерирует большую часть тестов. По его оценке, заявления о том, что ИИ пишет «80% тестов», на деле чаще означают «80% набора текста», а не полноценной инженерной работы. Основная нагрузка, как он объясняет, все равно остается на этапах проверки, доработки и обеспечения надежности пайплайна.

Как сообщает InfoWorld, в рамках независимого исследовательского проекта автор построил шестиэтапный агентный пайплайн. Система берет дизайн из Figma и создает работающие тесты в WebDriverIO. Все этапы связаны через Model Context Protocol, при этом за каждый шаг отвечает отдельный агент.

Автор говорит, что система в итоге оказалась полезной и вполне рабочей. При этом основные проблемы появились не там, где их обычно ждут на фоне ажиотажа вокруг ИИ. По его словам, критичной может стать ошибка в оценке объема ручной работы, который остается после автоматизации. Если команда рассчитывает, что после внедрения таких инструментов ей понадобится около 2% усилий, а фактический показатель оказывается ближе к 30%, это приводит к накоплению функций, которым команда доверяет не полностью.