Python‑движок PromptProof проверяет утверждения LLM по веб‑источникам и помечает их как Supported, Refuted или Unverifiable

Разработчик представил систему PromptProof, движок для работы с LLM, который проверяет собственные ответы модели и пытается уменьшить количество уверенных, но ошибочных утверждений. Как пишет Towards AI, проект реализован на Python. Его ключевая идея проста: надёжность зависит не столько от самой модели, сколько от того, как устроены запросы и проверки вокруг неё.

Система получает короткий абзац текста и разбивает его на отдельные атомарные утверждения. Для каждого из них она ищет подтверждения в интернете. Затем выносится вердикт: Supported, Refuted или Unverifiable. К каждому результату прикладывается источник. Такой подход противопоставлен стратегии «одного умного промпта», когда модель выдаёт уверенный ответ без ссылок и в нём могут скрываться неточности.

Архитектура PromptProof построена как последовательная цепочка действий. Сначала извлекаются утверждения, затем система ищет доказательства, после этого оценивает каждое из них и в конце проводит итоговую проверку всего отчёта с возможностью пересмотреть результат. Между этапами стоят проверочные «ворота». Каждый запуск фиксируется в объекте RunTrace, где сохраняются попытки, токены и время выполнения.

Ошибки оформлены как типизированные исключения. Благодаря этому система может разбирать их, повторять отдельные шаги и продолжать работу, вместо того чтобы просто завершаться сбоем.