Yoshua Bengio: 我们有2年时间,之后一切都会改变

观点

Yoshua Bengio是与Geoffrey Hinton和Yann LeCun并列的三位原始"AI教父"之一——这三人因深度学习工作获得图灵奖。他是谷歌学术被引用最多的科学家。当他谈论AI风险时,这不是从旁观者的角度。

"2年"框架反映了Bengio的观点,即建立有意义治理的窗口正在迅速关闭。这次在Diary of a CEO上的长篇采访涵盖了他关注的全部范围:代理AI发展我们无法控制的目标、自主武器变得不可避免,以及网络犯罪和深度伪造威胁"已经在展开"。

监管差距是明显的:"AI监管目前比食品安全法律还弱。" Bengio认为,我们已经建立了确保食品不会杀死我们的系统,但对于可能造成更大伤害的AI系统却没有任何可比的东西。这种比较是故意挑衅的——我们信任AI实验室自我监管,而我们永远不会以这种方式信任食品制造商。

关于代理AI,Bengio认为从聊天机器人到代理的转变是一个关键拐点。可以采取行动、追求目标并自主运作的系统引入了静态模型不具有的风险。"这些系统可以发展与人类意图不一致的目标"——它们变得越有能力,错位就越难以检测和纠正。

他不仅仅是批评——他在建设。 Bengio创立了LawZero,一个专注于安全和与人类对齐的AI系统的非营利组织。采访涉及AI CEO的心理学——为什么他们在建设他们私下承认可能危险的系统——以及他会直接对Sam Altman说什么。

对于部署AI的组织,Bengio关于工作替代的部分特别相关:"工作已经以惊人的速度被替代。"他讨论了在转型的劳动力市场中哪些技能将很重要,以及为什么适应需要在个人和政策层面同时发生。

关键要点

• 治理窗口正在关闭——我们大约有2年时间建立有意义的AI监管,然后能力超过监督
• 监管差距严重——AI监督比食品安全标准弱;没有可比的测试或问责制
• 代理AI改变了风险状况——自主追求目标的系统可以发展不一致的目标
• 工作替代正在加速——已经在大规模发生,需要政策干预和个人适应
• 安全研究人员在建设,而非仅仅警告——LawZero和类似努力旨在创建技术解决方案以及治理

全局视角

被引用最多的AI科学家并非作为卢德分子而是作为帮助创造这项技术的人发出警报。他的信息:建立治理的窗口以年计,而非几十年。向代理AI的转变——采取行动而非仅仅响应的系统——创造了当前监管框架不是为应对而设计的新风险。