MakerChecker представил набор инструментов для контроля действий AI-агентов

Проект MakerChecker выпустил набор инструментов для проверки и ограничения возможностей AI-агентов. Система добавляет контроль к вызовам инструментов, поддерживает human approval и ведёт криптографически подписанный журнал действий. Как сообщает Hacker News, решение совместимо с существующими фреймворками, включая LangChain, Claude SDK и CrewAI.

Согласно описанию проекта, MakerChecker умеет анализировать действия агента и классифицировать их по уровню риска. В примерах упоминаются удаление данных, перевод денег, выполнение shell-команд и попытки извлечения секретов. Для каждого действия система сопоставляет сценарий с известными типами инцидентов, после чего может автоматически сгенерировать governance-код через параметр --fix.

Разработчики отдельно выделяют три независимых компонента: mc scan, пакет @makerchecker/embedded и self-hosted сервер. Все они используют единый формат подписанного аудита и одинаковые механизмы контроля. В серверной конфигурации применяется цепочка хешей и подписи Ed25519, поэтому изменение любой записи нарушает проверку целостности журнала.

В проект также входят примеры применения в фармаконадзоре, обработке жалоб на медицинские устройства, онкологических программах поддержки пациентов и финансовой сверке транзакций. Код библиотек, SDK и коннекторов распространяется по лицензии Apache-2.0.