FLI прокомментировал предупреждение Anthropic о рисках самоулучшающегося ИИ

Anthropic в опубликованной вчера записи в блоге предупредила о серьезных общественных рисках, связанных с рекурсивным самоулучшением ИИ. Компания призывает другие организации задуматься о замедлении или даже паузе в разработке. В тексте говорится о возможных сценариях, при которых такие системы начинают развиваться все быстрее и быстрее.

Авторы также напомнили о письме Future of Life Institute, опубликованном в марте 2023 года. В нем звучал похожий призыв: взять паузу в гигантских экспериментах с ИИ. Документ получил широкую огласку, среди подписавших были Elon Musk и Yoshua Bengio, однако на практике эта инициатива реализована не была. В письме поднимались вопросы о последствиях: должны ли машины заполнять информационные каналы пропагандой и ложью, стоит ли автоматизировать все рабочие места, включая те, что приносят людям удовлетворение. Авторы спрашивали и о более радикальных вещах: нужно ли создавать нечеловеческие разумы, которые со временем могут превзойти людей по численности и возможностям и в итоге заменить их, и готово ли общество рисковать потерей контроля над собственной цивилизацией.

На фоне предупреждения Anthropic президент и CEO FLI Anthony Aguirre заявил: «Мы приближаемся к неконтролируемому переходу к сверхинтеллекту, который может угрожать нашему общему человеческому будущему. И публично, и частным образом компании в области ИИ признают, что пауза или замедление в некоторых направлениях разработки критически важны для защиты жизни и средств к существованию повсюду. Это должно вселять надежду, и мы готовы работать с каждым, кто согласен».