Andrej Karpathy

Andrej Karpathyについて

Andrej KarpathyはAIの最も尊敬される研究者および教育者の一人です。OpenAIの創設メンバーであり、その後TeslaのAutopilot visionチームを率い、YouTubeビデオとオープンソースプロジェクトを通じてディープラーニングをアクセシブルにすることで有名になりました。

キャリアハイライト

• Eureka Labs (2024年-現在): 創設者、AI教育スタートアップ
• Tesla (2017-2022): AIディレクター、Autopilotコンピュータービジョンをリード
• OpenAI (2015-2017): 創設メンバーおよび研究科学者
• Stanford博士号: Fei-Fei Liの下で画像キャプション生成を研究
• nanoGPT: 教育用の最小限のGPT実装を作成

注目すべき見解

LLMを「幽霊」として

Karpathyの最も挑発的な枠組み:

“LLMs are ‘ethereal spirit entities’ - fully digital, mimicking humans, starting from a completely different point in the space of possible intelligences. We’re building ghosts, not animals.”

「LLMは『霊的な存在』です - 完全にデジタルで、人間を模倣し、可能な知性の空間の完全に異なる点から始まっています。私たちは動物ではなく幽霊を構築しているのです。」

動物はハードコードされたハードウェアで進化しました。シマウマは生後数分で走ります。LLMはテキストを模倣することから生まれました - 根本的に異なる最適化プロセスです。

エージェントのタイムラインについて

誇大広告に対する現実確認:

“Decade of agents, not year of agents. When would you actually hire Claude as an intern? You wouldn’t today because it just doesn’t work reliably enough.”

「エージェントの年ではなく、エージェントの10年です。実際にClaudeをインターンとして雇うでしょうか？今日は雇わないでしょう。十分に信頼できないからです。」

コンテキスト vs 重みについて

LLMの仕組みに関する技術的洞察:

“The KV cache stores 320 KB per token vs 0.7 bits in weights - a 35 million fold difference. Anything in context is working memory; anything in weights is hazy recollection.”

「KVキャッシュはトークンあたり320 KBを保存しますが、重みでは0.7ビットです - 3500万倍の違いです。コンテキスト内のものはすべて作業記憶です。重み内のものはぼんやりとした記憶です。」

主な引用

• “私たちは動物ではなく幽霊を構築しています。”
• “エージェントの年ではなく、エージェントの10年です。”
• “事前学習はお粗末な進化です。“

関連記事

• Scaling Laws - Karpathyが確立を助けたパラダイム
• Pre-training - Karpathyが「お粗末な進化」と呼ぶもの