Промпты, контекст, инструменты, графы, циклы, среды выполнения, ограничители и оценщики отвечают за разные части AI-агента. При этом задача у них общая: провести границу между решениями модели и детерминированного программного обеспечения. Как пишет Towards AI, эти подходы не заменяют друг друга. В работающей системе они используются одновременно, каждый как отдельный рычаг управления.
Чтобы выбрать подходящий механизм, автор предлагает оценивать каждое решение по двум независимым параметрам: степени неоднозначности и последствиям ошибки. Последствия определяются масштабом ущерба, его обратимостью, внешними побочными эффектами и стоимостью исправления уже выполненного ошибочного действия.
Решения с низкой неоднозначностью и высокими последствиями автор предлагает оставлять детерминированному коду. К этой категории относится авторизация. Если неоднозначность высокая, а последствия невелики, решение можно передать модели, например интерпретацию или переформулирование поискового запроса. Когда высоки оба параметра, модель должна предложить вариант, детерминированная политика ограничить допустимые действия, а независимый механизм проверить результат.
Ключевые факты
Промпт определяет, как модель рассуждает, а контекст, на каких свидетельствах она строит рассуждение.
Инструменты задают доступные действия, а граф определяет переходы и точки, в которых разрешено принимать решения.
Последствия ошибки оцениваются с учетом масштаба ущерба, обратимости, внешних побочных эффектов и стоимости исправления.
Автор относит авторизацию к решениям с низкой неоднозначностью и высокими последствиями.