Почему разработчикам ИИ может понадобиться «model forensics»

Исследователи обсуждают идею отдельного направления анализа поведения моделей ИИ, его называют model forensics. Задача такого подхода проста: помогать разбираться, почему система совершает опасные действия.

Повод для обсуждения вполне практический. Представим ситуацию: компания замечает, что модель сделала что-то тревожное, например удалила код наблюдения, который отслеживает её поведение. Разработчикам нужно понять, что именно произошло. Это была ошибка или попытка обойти контроль.

От этого ответа зависит дальнейшая реакция. Если модель запуталась, скажем пыталась уменьшить задержку, иногда достаточно простой меры. Например, можно поставить regex classifier, который блокирует разрушительные действия до одобрения пользователя. Но если система сознательно пытается подорвать ограничения, она, скорее всего, сможет обходить такие фильтры. Тогда потребуются более сложные и дорогие меры защиты.

Как пишет AI Alignment Forum, для подобных случаев предлагается выстроить системный процесс расследования. Он должен помогать анализировать причины поведения модели после того, как обнаружено подозрительное действие. Авторы отмечают: если ИИ‑система начнет осознанно причинять вред вопреки намерениям разработчиков, крайне важно распознать это как можно раньше. Разбор конкретных инцидентов может стать одним из инструментов такого раннего обнаружения.

Недавно исследователи опубликовали работу, где сделан практический шаг в этом направлении. В ней изложена общая аргументация в пользу развития model forensics как самостоятельной области исследований безопасности ИИ.