Stuart Russell：AI CEO们正在用人类玩俄罗斯轮盘赌

为什么Stuart Russell的警告有分量

这是一次非凡的访谈，远远超出了典型的AI末日论述。Stuart Russell——字面上写了训练大多数现任AI CEO的教科书——提供了我遇到的最具谴责性的AI安全形势内部描述。他的可信度是独一无二的：伯克利教授40年、伊丽莎白女王授予的大英帝国勋章、《时代》杂志AI领域最具影响力的声音，以及与推动AI竞赛的领导者的私人关系。

最令人震惊的发现是他与一位未透露姓名的领先AI CEO的对话，后者将”切尔诺贝利级别的灾难”视为最好的情况——因为只有那样政府才会监管。替代方案？完全失控。Russell报告说CEO们”意识到风险”但感到”无法逃脱这场竞赛”——如果他们退后，投资者会立即取代他们。商业命令压倒了个人信念。

Russell以残酷的清晰度通过他的”大猩猩问题”来构架局势：几百万年前，人类从大猩猩分支出来。现在大猩猩对自己的持续存在完全没有发言权，因为我们更聪明。智能是”控制地球的唯一最重要因素”。我们正在构建比我们更聪明的东西。逻辑结论不言自明。

Russell引用的数字是惊人的。明年的AGI预算将达到1万亿美元——是曼哈顿计划的50倍。Dario Amodei估计灭绝风险为25%。Elon Musk说30%。Sam Altman说过AGI是”人类存在的最大风险”。然而这些同样的人继续构建。Russell的评估：“他们正在与地球上每一个人玩俄罗斯轮盘赌，未经我们的许可。”

他唯一的希望：构建其唯一目的是促进人类利益的AI系统，并有数学证明的安全性。他自2013年在巴黎的一次”顿悟”以来一直在研究这个。但当前的范式——我们不理解的系统，通过万亿参数的万亿次随机调整训练——没有提供这样的保证。

Russell关于AI存在风险的4个洞见

• 一位领先的AI CEO告诉Russell，切尔诺贝利级别的AI灾难是”最好的情况”，因为它最终会迫使政府监管——替代方案是完全失控
• Russell的”大猩猩问题”：大猩猩在进化上从人类分支出来，现在对自己的存在没有发言权；我们正在创造让我们处于大猩猩位置的东西
• 当前的AI系统从根本上是不透明的——Russell的比喻：一个链接围栏覆盖整个伦敦，灯关着，我们通过万亿次随机调整调整万亿个连接，直到输出看起来对
• Sam Altman最近说”我们可能已经过了AI起飞的事件视界”——Russell将此解释为被困在通向AGI的引力中，随着我们接近，力量在加强