Stuart Russell：AI CEOは人類でロシアンルーレットをプレイしている

Stuart Russellの警告が重みを持つ理由

これは、典型的なAI破滅論を遥かに超える注目すべきインタビューです。Stuart Russell - 現在のAI CEOのほとんどを訓練したテキストブックを文字通り書いた人物 - が、私が遭遇した中で最も厳しいAI安全状況のインサイダーアカウントを提供しています。彼の信頼性は唯一無二です：Berkeleyで40年の教授、エリザベス女王からのOBE、Time誌のAIで最も影響力のある声、そしてAIレースを推進するリーダーたちとの個人的な関係。

最も印象的な発見は、最良のシナリオとして「チェルノブイリ規模の災害」を見ている、名前を伏せた主要AI CEOとの会話です - なぜならそうなって初めて政府が規制するからです。代替案は？完全な制御の喪失。Russellは、CEOたちは「リスクを認識している」が「このレースから逃れられない」と感じていると報告しています - 彼らが身を引けば、投資家は即座に彼らを置き換えるでしょう。商業的命令が個人的信念を覆しています。

Russellは「ゴリラ問題」を通じて状況を残酷なまでに明確にフレームします：数百万年前、人間はゴリラから分岐しました。今やゴリラは自分たちの存続について何の発言権もありません、なぜなら私たちの方が賢いからです。知性は「地球を支配するための唯一最も重要な要因」です。私たちは私たちより知能の高いものを構築しています。論理的な結論は自ずと書けます。

Russellが引用する数字は驚愕です。来年のAGI予算は1兆ドルに達する - マンハッタン計画の50倍。Dario Amodeiは25%の絶滅リスクを見積もっています。Elon Muskは30%と言っています。Sam AltmanはAGIが「人類の存在にとって最大のリスク」だと言いました。しかしこれらの同じ人々が構築を続けています。Russellの評価：“They are playing Russian roulette with every human being on Earth, without our permission.”（彼らは地球上のすべての人間で、私たちの許可なく、ロシアンルーレットをプレイしています。）

彼の唯一の希望：人間の利益を促進することだけを目的とするAIシステムを構築し、安全性の数学的証明を持つこと。彼は2013年のパリでの「悟り」以来これに取り組んでいます。しかし現在のパラダイム - 私たちが理解していないシステム、何兆もの無作為な調整を通じて1兆のパラメータを調整して訓練 - はそのような保証を提供しません。

Russellによる AI存在リスクの4つの洞察

• 主要AI CEOがRussellに、チェルノブイリ規模のAI災害が「最良のシナリオ」だと語った、なぜならそれが最終的に政府の規制を強制するから - 代替案は完全な制御の喪失
• Russellの「ゴリラ問題」：ゴリラは人間から進化的に分岐し、今や存在について発言権がない; 私たちはゴリラの立場に私たちを置くものを創造している
• 現在のAIシステムは根本的に不透明 - Russellのメタファー：ライトを消したロンドン全体を覆うチェーンリンクフェンスで、出力が正しく見えるまで何兆もの無作為な調整を通じて1兆の接続を調整する
• Sam Altmanは最近「私たちはすでにイベントホライズンを過ぎているかもしれない」と言った - Russellはこれを、近づくにつれて力が強まるAGIへの重力に囚われていると解釈