К содержанию
hegai.media
Новости

Более 120 организаций предложили правила отчетности об инцидентах с ИИ-агентами

Абстрактная графика hegai.media: широкие лучи, расходящиеся из одной точки, поверх тонкой лучевой разметки
Графика: hegai.media

Коалиция из более чем 120 организаций, в которую входят NVIDIA, Cisco и CrowdStrike, предложила механизм отчетности об инцидентах с ИИ-агентами. Как сообщает IT Home со ссылкой на Axios, The Open Secure AI Alliance разрабатывает руководство Shared AI Findings Exchange (SAFE). Оно предусматривает раскрытие определенных происшествий и хранение подробных записей о них.

Участники SAFE должны будут сообщать о случаях, когда ИИ-система без разрешения получает доступ к системам третьих сторон или использует их, раскрывает конфиденциальную информацию либо продолжает проверять цели в производственной среде после того, как оператор заподозрил несанкционированную активность. Предлагается фиксировать и некоторые потенциальные инциденты. Сохранять нужно будет промпты, трассировки агентов, вызовы инструментов, сведения об идентификации, разрешения и учетные данные.

Согласно проекту, пострадавшую организацию следует уведомить как можно скорее. Предварительный конфиденциальный отчет необходимо направить в SAFE в течение четырех рабочих дней. В подходящих случаях предварительный отчет с установленными фактами нужно опубликовать в течение 30 дней, а обновление о мерах исправления предоставить в течение 90 дней. SAFE займется анализом происшествий, поиском повторяющихся сбоев и разработкой общих мер безопасности.

По словам вице-президента и генерального менеджера NVIDIA по корпоративным вычислениям Джастина Бойтано, инициатива создана по образцу системы отчетности по авиационной безопасности NASA. Эта система использует данные бортовых самописцев при расследовании происшествий. The Open Secure AI Alliance собирает отзывы о проекте в рамках обсуждения, организованного Linux Foundation.

Ключевые факты

  • Предварительный конфиденциальный отчет предлагается направлять в SAFE в течение четырех рабочих дней после инцидента.

  • Предварительный отчет с установленными фактами в подходящих случаях должен публиковаться в течение 30 дней, а обновление о мерах исправления, в течение 90 дней.

  • В качестве доказательств предлагается сохранять промпты, трассировки агентов, вызовы инструментов, сведения об идентификации, разрешения и учетные данные.

  • Инициатива создана по образцу системы отчетности по авиационной безопасности NASA.

Вопросы и ответы

Какие инциденты придется регистрировать?

Несанкционированный доступ ИИ к сторонним системам, раскрытие конфиденциальной информации и продолжение проверки целей в продакшене после подозрения оператора на несанкционированную активность. Некоторые потенциальные инциденты также предлагается фиксировать.

Какие сроки отчетности закладывает SAFE?

Конфиденциальный предварительный отчет нужно направить в течение четырех рабочих дней, отчет с установленными фактами в подходящих случаях опубликовать в течение 30 дней, обновление о мерах исправления предоставить в течение 90 дней.

Какие данные придется сохранять для расследования?

Промпты, трассировки агентов, вызовы инструментов, сведения об идентификации, разрешения и учетные данные. Механизм создан по образцу системы авиационной безопасности NASA, которая использует данные бортовых самописцев.

Контекст по теме