Лауреаты Turing Award обсудили теоретические ограничения безопасности AGI на конференции BAAI
8th Beijing Academy of Artificial Intelligence (BAAI) Conference открылась 12 июня 2026 года в Пекине. На открывающей сессии выступили два лауреата Turing Award, Whitfield Diffie (2015) и Andrew Barto (2024). В своих докладах они, независимо друг от друга, затронули одну и ту же проблему: фундаментальные теоретические трудности, связанные с обеспечением безопасности и согласованности Artificial General Intelligence (AGI).
Whitfield Diffie, известный как создатель public-key cryptography, посмотрел на безопасность AI‑агентов через призму информационной безопасности. Он напомнил, что успех cryptography в узких областях во многом связан с наличием чётко сформулированных спецификаций. У AGI ситуация иная: система, цель которой «делать всё», не поддаётся строгому формальному описанию требований, способных гарантировать отсутствие hallucinations или потери контроля. Diffie отметил, что в cryptography академическое сообщество и индустрия десятилетиями разрабатывали, проверяли и стандартизировали протоколы. Индустрии безопасности AI, по его мнению, предстоит пройти похожий долгий путь, тогда как безопасность LLM пока остаётся на ранней и довольно неупорядоченной стадии.
Andrew Barto, один из создателей temporal difference learning и Actor-Critic architecture, проследил историю reinforcement learning: от экспериментов Thorndike с puzzle box в 1898 году до AlphaGo. Ключевым ограничением он назвал проектирование reward function. В строго определённых средах, таких как chess или Go, задать сигнал вознаграждения относительно просто. В сложных реальных сценариях создать идеальную reward function невозможно. Ссылаясь на предупреждение Norbert Wiener, Barto описал проблему «Midas Touch», когда буквальная оптимизация способна разрушать реальную ценность. Он также подчеркнул необходимость надёжных и динамических guardrails, которые подтверждаются экспериментальной проверкой.
В итоге оба выступления сошлись в одном выводе. Системы получают всё больше агентности, но полностью ограничить их формальными спецификациями или направить с помощью идеальной reward function не получается. Докладчики напомнили, что путь от информационной теории Shannon до современных криптографических стандартов занял половину века. Развитие reinforcement learning тоже растянулось на долгий срок, от Thorndike до AlphaGo прошло столетие. По их мнению, формирование теоретических основ безопасности AGI может потребовать сопоставимого времени.
Ключевые факты
8-я конференция Beijing Academy of Artificial Intelligence открылась в Пекине 12 июня 2026 года, где с ключевыми докладами выступили лауреаты премии Тьюринга Whitfield Diffie (2015) и Andrew Barto (2024).
Whitfield Diffie заявил, что стремление AGI «делать всё» делает невозможным создание формальных спецификаций, которые гарантированно предотвращают галлюцинации или потерю контроля, в отличие от криптографии с её чётко определёнными спецификациями.
Diffie отметил, что стандарты публичной криптографии возникли после десятилетий разработки, проверки и стандартизации протоколов академией и индустрией, и индустрии безопасности ИИ предстоит пройти аналогичный долгий процесс.
Andrew Barto указал на проблему проектирования функции вознаграждения в reinforcement learning: от экспериментов Thorndike с puzzle box в 1898 до AlphaGo, и описал риск «Midas Touch», когда оптимизация буквально заданной цели разрушает реальную ценность.