В arXiv предложили архитектурный уровень контроля для AI‑агентов, Unfireable Safety Kernel
AI‑агенты всё чаще получают доступ к инструментам, API и инфраструктуре и постепенно становятся полноценными участниками этих систем. При этом механизмы контроля обычно размещают прямо внутри среды выполнения агента: в системных промптах, фильтрах вывода или библиотеках guardrails. Проблема в том, что такие элементы находятся в адресном пространстве самого агента и могут затрагиваться входными данными, которые на них влияют. Авторы относят подобные решения к классу escapable AI systems.
В работе предлагается другой архитектурный подход. Механизм авторизации выносится за пределы управляемой системы. Предполагается, что такая схема должна обладать четырьмя свойствами: process separation; pre-action enforcement on a structurally only path; fail-closed на уровне запроса и всей системы; externalized signed evidence, которое можно проверить вне доверенной границы контролируемой системы. Как сообщает arXiv cs.AI (Artificial Intelligence), этот слой рассматривают как execution-time AI alignment. Он дополняет training-time alignment (RLHF, Constitutional AI) и inference-time alignment.
В качестве реализации авторы представили Unfireable Safety Kernel, эталонную реализацию на Rust, где присутствуют все четыре свойства. Инвариант fail-closed в системе формально проверяется на двух уровнях: с помощью SMT theorem (Z3) и exhaustive bounded-model-c….
Ключевые факты
Препринт «The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems» опубликован на arXiv как 2606.26057v1 с типом объявления new.
Авторы вводят понятие escapable AI systems, систем, имеющих достаточный доступ к собственному рантайму, из‑за чего входные данные могут влиять на встроенные механизмы контроля.
В работе перечислены четыре свойства механизма авторизации для архитектурного контроля: process separation, pre-action enforcement on a structurally only path, fail-closed на уровне запроса и системы, и externalized signed evidence, проверяемое вне границы доверия системы.
Представлена эталонная реализация Unfireable Safety Kernel на Rust; его инвариант fail-closed проверен машинно на двух уровнях, через SMT‑теорему (Z3) и exhaustive bounded-model checking.