Andrej Karpathy: 私たちが構築しているのは幽霊であって、動物ではない

視点

Andrej Karpathy は最も哲学的な発言をしています。ニューラルネットワークを教えるのではなく、私たちが実際に何を構築しているのかと取り組んでいます。「幽霊ではなく動物」というフレーミングは挑発的で重要です。

核心的な洞察: LLM は生物学的知能とは根本的に異なる最適化プロセスから出現しました。 動物は進化によって形作られています。つまり、大量のハードコードされたハードウェアを備えています。シマウマは生まれてから数分で走ります。これは強化学習ではなく、進化がDNAに重みをエンコードした数百万年の過程です。一方、LLM はインターネット文書を模倣することで訓練されています。それらは「幻想的な精神的実体」です。完全にデジタルで、人間を模倣し、可能な知能の空間の中で完全に異なるポイントから始まります。

「エージェントの年ではなく、エージェントの十年」 は、Karpathy がラボのハイプに反論しています。彼は AI に 15 年間携わっており、何度も予測が失敗するのを見てきて、直感を較正しています。問題は扱いやすいですが難しいです。実際に Claude をインターンとして雇用するのはいつでしょうか？今日はしないでしょう。なぜなら、それは十分に確実には機能しないからです。このギャップを閉じるのに10年かかります。

事前学習を「不完全な進化」として見ること は有用な精神的モデルです。進化は動物に開始点を与え、組み込みアルゴリズムと表現を備えています。事前学習は同様のことをしていますが、実際に達成可能なプロセスを通じて。インターネット文書でのパターン完成です。興味深いニュアンスは次のとおりです。事前学習は同時に2つのことを行います: (1) 知識を拾い上げることと、(2) アルゴリズムパターンを観察することで知能回路をブートアップすることです。Karpathy は知識部分が実際にモデルを後ろに引っ張っているかもしれないと考えています。推論ではなくメモ化にあまりに依存するようにしています。

圧縮の違いは多くのことを説明します。 Llama 3 は 15 兆トークンの訓練セットからトークンあたり約 0.7 ビットを保存しています。推論中の KV キャッシュはトークンあたり 320 キロバイトを保存しており、3500 万倍の違いがあります。重みに含まれているものはすべて「曖昧な記憶」です。コンテキストに含まれているものは作業メモリであり、直接アクセス可能です。これは、文脈内学習が重みに焼き付けられたものよりも賢く感じる理由を説明しています。

重要なポイント

• 「幽霊、動物ではない」 - LLM はハードコードされたハードウェアを備えた進化した知能ではなく、人間を模倣するデジタル実体です
• 十年のエージェント、年ではなく - 現在のエージェントは印象的ですが、認知的に不足しています。信頼性のある「AI 従業員」は 10 年後です
• 事前学習は不完全な進化です - 開始表現を得るための実際に達成可能な方法ですが、生物学的最適化とは大きく異なります
• 知識は害を及ぼすかもしれません - 記憶された知識よりも推論に依存するモデルは、新規の問題でより良い可能性があります
• 作業メモリ対曖昧な記憶 - KV キャッシュ (コンテキスト) はトークンあたり重みより 3500 万倍情報密度があります
• 文脈内学習は内部勾配降下を実行するかもしれません - いくつかの論文は注意層が最適化のようなものを実装していることを示唆しています
• 欠落している脳の部分 - Transformer ≈ 皮質組織、推論トレース ≈ 前頭前皮質ですが、多くの構造は未探索のままです
• 初期のエージェント試行は時期尚早でした - Universe プロジェクト (2016) は、モデルが表現力を欠いていたため失敗しました。LLM を最初に取得する必要がありました

ビッグピクチャー

私たちは人工的な人間を構築しているのではなく、完全に新しいものを構築しています。LLM は、進化によって形作られた「動物」ではなく、テキストを模倣することから出現した「幽霊」です。この違いを理解することは、人間の知能を貧弱に模倣するのではなく、補完するシステムを構築するために不可欠です。