Лауреаты Turing Award обсудили теоретические ограничения AGI на 8-й Beijing Zhiyuan Conference
12 июня 2026 года в Пекине открылась 8th Beijing Zhiyuan Conference. Конференция привлекла внимание к передовым направлениям исследований в области искусственного интеллекта. На открывающей сессии выступили два лауреата Turing Award: Whitfield Diffie и Andrew Barto. Их работы заметно повлияли на развитие современной вычислительной науки.
Whitfield Diffie представил доклад «Fighting for AI Agent Security / Defending Against AI Agent Threats». Он напомнил, откуда выросла сама область искусственного интеллекта. Термин «artificial intelligence» ввёл John McCarthy на 1956 Dartmouth Conference, стремясь отделить новое направление от парадигмы cybernetics Norbert Wiener. Diffie описал возникающий парадокс. С одной стороны, AI agents могут помогать в решении классических криптографических задач благодаря formal verification. С другой, сама природа «general intelligence» делает формальные спецификации безопасности практически недостижимыми. Например, нельзя формально задать критерий того, что означает «not hallucinating».
Andrew Barto посмотрел на reinforcement learning в более широкой исторической рамке, почти век исследований, связанных с психологией и cybernetics. Центральной проблемой он назвал reward function. В простых средах существуют perfect convergence proofs для reinforcement learning, однако в реальных сложных сценариях задать определимые reward functions невозможно. Barto также напомнил о своих разработках temporal-difference learning и Actor-Critic framework, созданных вместе с его doctoral student Rich Sutton.
Оба выступления сходятся в одном выводе. Человечество постепенно наделяет машины agency, при этом у нас нет ни математических инструментов, которые позволили бы строго ограничивать их поведение, ни надёжных механизмов вознаграждения, способных направлять его. Diffie привёл историческое сравнение: cryptography потребовалось half a century от foundational paper Shannon до standardized protocols. У reinforcement learning путь занял century, от экспериментов Thorndike с puzzle box до AlphaGo. Несмотря на это, теоретические основы AI safety и alignment всё ещё выглядят менее зрелыми, чем можно было бы ожидать на фоне индустриального энтузиазма.
Ключевые факты
8-я Beijing Zhiyuan Conference открылась 12 июня 2026 года в Пекине и была посвящена передовым направлениям исследований в области искусственного интеллекта.
Ключевые доклады на открытии представили лауреаты премии Тьюринга Whitfield Diffie (2015) и Andrew Barto (2024).
Whitfield Diffie выступил с докладом «Fighting for AI Agent Security / Defending Against AI Agent Threats» и заявил, что для «общего интеллекта» невозможно сформулировать формальные спецификации безопасности, например формально определить состояние «не галлюцинировать».
Andrew Barto отметил, что фундаментальным узким местом обучения с подкреплением является функция вознаграждения: для простых сред существуют доказательства сходимости, тогда как для сложных реальных сценариев определимой функции вознаграждения нет.