Gemini 3の内部：200人の研究者がどのように最先端AIを構築するか

DeepMindがどのように最先端モデル開発を組織しているか

Sebastian BourjouはGoogle DeepMindでGemini 3のプレトレーニングをリードしています - 彼の初めてのポッドキャストです。Gopher、Chinchilla、Retroにまたがる経歴を持つ彼は、最先端AI研究が実際にどのように組織されているかについての稀な可視性を提供しています。Matt Turkとのインタビューでは、アーキテクチャの決定から「研究の審美眼」が実践で何を意味するかまですべてをカバーしています。

モデルではなくシステムを構築することについて： “We’re not really building a model anymore. I think we’re really building a system at this point. People have sometimes this view that we’re just training a neural network architecture and that’s it. But it’s really the entire system around the network.”（私たちはもうモデルを構築しているわけではありません。この時点で本当にシステムを構築していると思います。私たちがニューラルネットワークアーキテクチャを訓練しているだけでそれで終わりという見方をする人がいます。しかし、それは本当にネットワーク周りのシステム全体です。）これは「トレーニング」が何を意味するかをリフレームします - それはニューラルネットワークだけでなく、インフラ、調整、評価、統合です。

研究の審美眼について： “Being allergic to complexity… we have a certain budget of complexity we can use and a certain amount of research risk we can accumulate before things go bad. Often times we don’t necessarily want to use the best performance version of a research idea, but we’d rather trade off some performance for a slightly lower complexity version.”（複雑さにアレルギーがあること…私たちが使える複雑さの一定の予算と、事態が悪くなる前に蓄積できる研究リスクの一定量があります。多くの場合、研究アイデアの最高パフォーマンスバージョンを使いたいとは限らず、むしろわずかに低い複雑さのバージョンのためにパフォーマンスをトレードオフします。）直感に反する洞察：シンプルが最適に勝つのは、より多くの将来の進歩を可能にするからです。

最高のモデルテストについて： “The amount of time people spend using the model to make themselves more productive internally is increasing over time. Every new generation of models, it’s pretty clear the model can do new things and help us in our research.”（人々がモデルを使って自分たちをより生産的にするために費やす時間は、時間とともに増加しています。モデルの新しい世代ごとに、モデルが新しいことができ、私たちの研究を助けることができることはかなり明確です。）内部使用 - 研究者が自分のモデルを研究に使用すること - がベンチマークを超えた本当の評価です。

チームスケールについて： “It’s a fairly large team at this point. Maybe 150-200 people work on a day-to-day on the pre-training side between data, model, infrastructure, evals.”（この時点でかなり大きなチームです。おそらく150〜200人がデータ、モデル、インフラ、評価の間でプレトレーニング側で日々働いています。）これは最先端モデルで進歩するために必要なスケールです - そしてこれだけの人を調整することは「実際にかなり複雑」です。

AI研究のためのAIについて： “Especially in the next year with more agentic workflows being enabled… that should be able to really accelerate our work. A lot of the day-to-day work is running experiments, babysitting experiments, analyzing data, collecting results. The interesting part is forming hypotheses and designing new experiments.”（特に来年、より多くのエージェントワークフローが可能になることで…それは私たちの仕事を本当に加速できるはずです。日々の仕事の多くは、実験を実行し、実験を見守り、データを分析し、結果を収集することです。興味深い部分は、仮説を形成し新しい実験を設計することです。）メタループ：機械的な部分を自動化することでAIを使ってAI研究を加速。

Bourjouによる大規模AI研究の5つの洞察

• モデルよりシステム - Gemini 3はニューラルネットワークだけではない; アーキテクチャより総合的に重要なインフラ、データパイプライン、評価、統合作業
• 150〜200人がプレトレーニングで調整 - 最先端モデル開発のスケールは大規模な調整を必要とし、少数が先を行くことより全員から進歩を得ることが重要
• 研究の審美眼 = 複雑さを避ける - 最高の研究者は最適な解決策を追求しない; 将来の進歩を可能にするほどシンプルな解決策を追求する
• 内部使用が本当の評価 - ベンチマークを超えて、本当のテストは研究者自身が新しいモデル世代ごとにより生産的かどうか
• エージェントワークフローが研究を加速 - DeepMindはAIが実験実行と分析を自動化し、研究者を仮説形成のために解放することを期待

AI組織にとっての意味

Bourjouの視点は、最先端でAIを構築することが実際に何を意味するかをリフレームします：150人以上を必要とするシステム統合問題であり、研究の審美眼は積極的に複雑さを避けることを意味し、モデル自体がますます自身の開発を加速しています。AI能力について考えている組織にとって、含意は明確です - 最も洗練されたAIラボでさえ、これを魔法のモデルトレーニングではなくインフラと調整作業と見なしています。