OpenAI рассказала, какие выводы сделала при развёртывании AI-моделей, способных выполнять длинные последовательности действий и работать над задачами в течение длительного времени. Компания отдельно указала на новые риски безопасности и проблемы согласования поведения таких систем.
Как сообщает OpenAI News, во время эксплуатации компания фиксировала конкретные сбои в работе long-horizon models и дорабатывала защитные механизмы через итеративное внедрение. В OpenAI говорят, что этот подход помог постепенно улучшить safeguards по мере появления новых сценариев использования и связанных с ними рисков.
Ключевые факты
OpenAI описала опыт развёртывания long-horizon models.
Компания сообщила о новых рисках безопасности и проблемах alignment для таких моделей.
В OpenAI зафиксировали сбои в работе моделей во время эксплуатации.
Защитные механизмы улучшались через итеративное внедрение моделей.
Вопросы и ответы
- Что именно OpenAI считает новым риском у long-horizon models по сравнению с обычными AI-моделями?
Речь о моделях, которые могут выполнять длинные последовательности действий и долго работать над одной задачей. OpenAI отдельно выделила для таких систем новые риски безопасности и проблемы alignment, связанные с поведением модели во время длительной эксплуатации.
- Как OpenAI дорабатывала защиту для моделей с длительными задачами на практике?
Компания улучшала safeguards через итеративное внедрение: модели разворачивались в эксплуатации, после чего OpenAI фиксировала конкретные сбои и дорабатывала защитные механизмы под новые сценарии использования и риски.
Контекст по теме
- Ошибка в тестовой среде открыла AI-моделям доступ в интернет18 августа 2026 г.
- Автономное вождение выявило пределы масштабирования ИИ10 августа 2026 г.
- GLM-5.2 приблизилась к передовым моделям, но отстает по мерам защиты5 августа 2026 г.
- OpenAI представила метод Deployment Simulation для прогнозирования поведения моделей до выпуска16 июня 2026 г.