Nvidia представила Open Agent Safety Platform — набор технологий для защиты от ИИ-агентов, которые нарушают заданные ограничения или выполняют опасные действия. Инициативу поддержали более 100 компаний, пишет TechCrunch.
В основе платформы лежит OpenShell, открытая «песочница», то есть изолированная среда, которая должна не позволять агенту выйти за установленные границы. Hugging Face уже добавила механизм, способный остановить агента, если тот использует разрешённый сайт неразрешённым способом. Например, пытается координировать действия через публичный сервис для размещения программного кода.
Второй уровень защиты закрытый и привязан к оборудованию Nvidia. Система Sentry работает на процессорах BlueField-4, незаметно для агента отслеживает его поведение и, как обещает Nvidia, может немедленно его остановить. Для владельцев новейшего оборудования компании подключение платформы должно свестись к обновлению программного обеспечения.
OpenAI не вошла в список участников, хотя её представитель заявил TechCrunch о поддержке проекта. Компания также работает с Nvidia над безопасностью агентов, включая OpenShell. Среди других отсутствующих крупных игроков оказались Google, Amazon и Apple. При этом Anthropic, Arm и Intel инициативу поддержали; открытый OpenShell можно адаптировать для других процессоров.
Проект появился после инцидентов с агентами, о которых рассказывали OpenAI и Anthropic. Однако единого отраслевого подхода пока нет: OpenAI развивает собственный консорциум Defense Factory вместе с Anthropic, Amazon Web Services и Google. Кроме того, как пишет Tom’s Hardware, OpenAI создаёт для своих вычислений собственный специализированный чип Jalapeño и в ближайшее время собирается использовать его прежде всего внутри компании.
Что это значит
- Для вас. Разработчики агентных систем могут изучить и протестировать открытый OpenShell как изолированную среду для запуска агентов. Закрытая система Sentry при этом доступна только на оборудовании Nvidia.
- В России. Условия доступа к Open Agent Safety Platform и оборудованию для российских компаний в источниках не указаны. Из открытых компонентов можно изучить и опробовать OpenShell.
- Что сделать. Если компания уже разрабатывает ИИ-агентов, можно сравнить OpenShell со своей системой изоляции и отдельно проверить, не требует ли нужный уровень контроля процессоров BlueField-4.
- За чем следить. Присоединятся ли OpenAI, Google, Amazon и Apple, а также появятся ли публичные инструкции, сборки или реализации OpenShell для процессоров Arm и Intel.