Исследователи предложили встроенную «иммунную систему» для автономных ИИ‑агентов

Переход от статических чат-ботов к автономным агентам с постоянной памятью, собственными протоколами работы с инструментами и возможностью взаимодействовать друг с другом заметно увеличивает поверхность атак на ИИ-системы. Авторы новой работы пишут, что привычные меры защиты вроде периметровой безопасности или выравнивания на этапе обучения находятся вне активного цикла рассуждений агента. Из-за этого они не могут полностью защитить систему во время её реальной работы. Даже агент, корректно выровненный в процессе обучения, остаётся уязвимым в рантайме: его можно перехватить через отравление памяти, манипуляции цепочками инструментов или атаки на протоколы взаимодействия между агентами.

Исследователи предлагают закрыть этот разрыв с помощью архитектуры Agent-Native Immune System (ANIS). Это внутренняя система защиты, вдохновлённая биологическими механизмами иммунитета и встроенная прямо в когнитивный цикл агента. Как сообщает arXiv cs.AI (Artificial Intelligence), ключевая идея состоит в том, чтобы защитные механизмы стали частью самой логики работы агента, а не оставались внешним инфраструктурным слоем.

В архитектуре описана шестислойная структура Immune Tower (L0–L5). Один из уровней, Barrier Immunity (L1), работает как некогнитивный слой физической и логической изоляции. Кроме того, в работе предлагается единая таксономия Agent Viruses и Agent Vaccines. Авторы формализуют различие между поверхностными не-параметрическими защитами и более устойчивыми параметрическими «вакцинами».