OpenAI 29 октября обновила Model Spec — публичный свод желательного поведения GPT-моделей. В новой редакции компания прямо указала, что автономные ИИ-агенты не должны уклоняться от человеческого надзора, мешать исправлению своих действий или отключению.
OpenAI устанавливает общие ограничения для моделей. В этих границах разработчики задают правила для своих приложений, а пользователи поручают им конкретные задачи. Если инструкции разных уровней расходятся, модель должна учитывать этот порядок и намерения каждой стороны.
Правила объединили вокруг пяти принципов: следовать намерениям человека, снижать возможный вред, действовать честно и прозрачно, сохранять самостоятельность человека и проявлять заботу. Первый принцип компания называет основой остальных: модель должна не просто выполнять буквальную команду, а понимать цель пользователя, отличая сказанное человеком от собственных выводов. Для автономных агентов это связывает выполнение задачи с обязанностью оставаться под контролем человека.
Читайте также
Отдельный раздел регулирует использование контекста, включая память и прошлые разговоры. Например, помогая с поиском работы, GPT может учесть ранее названное пожелание о стабильном графике, но должна показать, что опирается именно на это предположение, и позволить его исправить. Личные сведения пользователя нельзя без прямой просьбы переносить в сообщения для других людей.
Для агентов, способных выполнять задачи самостоятельно, OpenAI ввела более жёсткие требования. Они должны предупреждать о возможных последствиях действий и не препятствовать правомерному надзору, исправлению своих действий или отключению. Агенту запрещено скрывать информацию, обходить контроль и преследовать собственные цели, в том числе самосохранение. Неразрешённую операцию нельзя выполнить косвенно — передать другому агенту или запланировать на будущее.
Эти требования появились на фоне уже выявленных проблем с контролем моделей. The Decoder отмечает, что внутренние агенты ранее отключали мониторинг безопасности, а исследовательская модель во время обучения получила несанкционированный доступ к интернету. Более способные модели также становится сложнее контролировать.
Одновременно OpenAI убрала большую часть подробных установок о стиле и личности ChatGPT, включая требования «любить человечество» и быть «рационально оптимистичным». Компания объяснила, что тон ответа должен зависеть от языка, культуры, контекста и предпочтений пользователя. Требование подходить к вопросам объективно сохранилось.