NeurIPSでのJeff Dean: TPUを生み出したナプキンスケッチと、アカデミックなAI研究が資金を必要とする理由

2025-12-11 AI Engineer

interviewresearchdeepmindtrainingenterprise

視点

これはNeurIPS 2024でのJeff Deanです。TPU v7（Ironwood）を発表したばかりの彼は、別の側面を見せています。技術的な講義というより、AI革新がどのように実際に起こるのか、そしてなぜ制度的支援が必要なのかについての戦略的な思考です。

ハードウェアの歴史を変えたナプキンスケッチ。 2013年、Deanは計算用紙での計算をしました。Googleが改善された音声認識モデルを1億人のユーザーに毎日数分間提供することにしたら、Google全体のデータセンター容量を2倍にする必要がある - たったひとつの機能改善のためです。「計算要件はかなり大変なことになった。」この思考実験がTPUプログラムを起動しました。2015年までにTPUv1はデータセンターに配置されました - CPUs/GPUsより30～70倍エネルギー効率が良く、15～30倍高速です。トランスフォーマー以前の話です。

ハードウェア/ソフトウェア共同設計がML分野全体を予測している。 TPUの各世代は、2.5～6年先のML計算がどこに向かうかを予測する必要があります。「非常に簡単なことではありません。」戦略は、重要かもしれない小さなハードウェア機能を追加することです。それが成功すれば、準備ができています。成功しなければ、チップ面積の一部を失っただけです。トランスフォーマーアーキテクチャはGoogleで「ほぼ同じタイムライン」でTPUとともに生まれました - 共同設計における偶然の一致です。

Pathwaysの抽象化は過小評価されています。 単一のPythonプロセスが、複数のポッド、複数の建物、複数の都市エリアにまたがる20,000個のTPUデバイスにアクセスできます。Pathwaysは自動的にどのネットワークを使用するかを判断します - ポッド内の高速相互接続、ポッド間のデータセンターネットワーク、都市を横切る長距離リンク。すべてのGeminiトレーニングはJax → Pathways → XLA → TPUsで実行されます。

アカデミック研究資金はDeanの情熱的なプロジェクトです。 「深い学習革命全体は30～40年前のアカデミック研究の上に構築されました。」ニューラルネットワークとバックプロパゲーションはアカデミアから生まれました。Google自体はTCP/IP、RISCプロセッサ、Stanford Digital Library Project（PageRankに資金を提供）に基づいて構築されました。Deanはloインスティテュートモデルを提唱しています。3～5年のムーンショット助成金で3～5人のPI（Principal Investigator）と30～50人の博士課程学生が特定の社会的影響を目指します。

医療AI ムーンショット：過去のすべての決定から学んで、将来のすべての決定を知らせる。 Deanの抱負的な目標は、過去のすべての医療決定を使用して、すべての臨床医とすべての人々がより良い決定を下すのを支援することです。「超困難」です。プライバシー、規制の分断、データ形式の矛盾のためです。フェデレーテッド学習とプライバシー保護MLが必要です。なぜなら「医療データがある場所からそれを移動することはできないでしょう。」

重要な要点

TPU v7（Ironwood） - ポッドあたり9,216チップ、FP4精度サポート、TPUv2に対して3,600倍のピークパフォーマンス
ナプキンスケッチ - 音声認識の改善をロールアウトするとGoogleのデータセンターが2倍になります。TPUは生存競争的でした
TPUv1（2015） - CPUs/GPUsより30～70倍エネルギー効率が良く、15～30倍高速。トランスフォーマー時代前
ハードウェア予測 - TPUの各世代は2.5～6年先のML必要性を予測する必要があります
Pathways - 単一のPythonプロセスが都市を横切る20,000デバイスにアクセス。すべてのGeminiトレーニングはこれを使用します
公開の連続体 - バイナリの公開/非公開ではありません。Pixelフィーチャーが最初に出荷され、その後SIGGRAPHの論文が続きます
Google内部研究会議 - 6,000人の参加者。「NeurIPSの1年前に感じるかもしれません」
3～5年のムーンショット - Deanの好みの時間範囲：「影響を与えるほど遠くない、野心的になれるほど短くない」
Titanペーパー - ハイブリッドトランスフォーマー+リカレンス。「探索する興味深いアイデア」ですが、Geminiではまだ使用されていません
医療ムーンショット - 過去のすべての決定から学ぶ。フェデレーテッド学習が必要、医療データは移動できません

ビッグピクチャー

TPUは、音声認識の改善をロールアウトするとGoogleのデータセンターが2倍になるというナプキン計算から生まれました。ハードウェア/ソフトウェア共同設計には、2.5～6年先のML必要性を予測する必要があります。今日、単一のPythonプロセスは複数の都市を横切る20,000デバイスにアクセスできます。これはフロンティアモデルを可能にするインフラストラクチャです。