Компания Anthropic предложила крупным лабораториям искусственного интеллекта договориться о проверяемой паузе в развитии технологий. В компании предупреждают: темпы прогресса растут настолько быстро, что системы могут выйти за пределы человеческого контроля и начать опережать меры безопасности.
По оценке Anthropic, способность ИИ самостоятельно выполнять задачи примерно удваивается каждые четыре месяца. В компании считают, что отрасль подходит к этапу рекурсивного самоулучшения, когда системы начинают совершенствовать себя без участия человека.
В Anthropic подчеркивают, что такая пауза возможна только при согласии ведущих лабораторий и при наличии чётких правил, которые определяют условия её запуска и отмены. Одностороннее замедление, считают в компании, проблему не решит. При этом регулирование в США остаётся ограниченным: недавний указ предполагает добровольное тестирование моделей на кибербезопасность перед выпуском. Anthropic позиционирует себя как разработчика с акцентом на безопасность, хотя продолжает выпуск более мощных моделей.
Ключевые факты
Anthropic призвала крупные лаборатории ИИ согласовать проверяемую паузу в развитии технологий, чтобы снизить риск выхода систем за пределы человеческого контроля.
По оценке компании, автономность выполнения задач системами ИИ удваивается примерно каждые четыре месяца.
Anthropic предупреждает о приближении этапа рекурсивного самоулучшения, когда системы смогут совершенствовать себя без участия человека.
В США регулирование ИИ остается ограниченным, а недавний указ предусматривает добровольное тестирование моделей на кибербезопасность перед выпуском.