Dans les coulisses de Gemini 3 : Comment 200 chercheurs construisent l'IA de pointe

Comment DeepMind organise le developpement de modeles de pointe

Sebastian Bourjou dirige le pre-entrainement sur Gemini 3 chez Google DeepMind - son premier podcast jamais. Avec un parcours couvrant Gopher, Chinchilla et Retro, il offre une visibilite rare sur comment la recherche IA de pointe est reellement organisee. L'interview avec Matt Turk couvre tout, des decisions d'architecture a ce que "gout en recherche" signifie en pratique.

Sur construire des systemes pas des modeles : "We're not really building a model anymore. I think we're really building a system at this point. People have sometimes this view that we're just training a neural network architecture and that's it. But it's really the entire system around the network." (Nous ne construisons plus vraiment un modele. Je pense que nous construisons vraiment un systeme a ce stade. Les gens ont parfois cette vision que nous entrainons juste une architecture de reseau neuronal et c'est tout. Mais c'est vraiment le systeme entier autour du reseau.) Cela recadre ce que "entrainement" signifie - c'est de l'infrastructure, de la coordination, de l'evaluation et de l'integration, pas juste le reseau neuronal.

Sur le gout en recherche : "Being allergic to complexity... we have a certain budget of complexity we can use and a certain amount of research risk we can accumulate before things go bad. Often times we don't necessarily want to use the best performance version of a research idea, but we'd rather trade off some performance for a slightly lower complexity version." (Etre allergique a la complexite... nous avons un certain budget de complexite que nous pouvons utiliser et une certaine quantite de risque de recherche que nous pouvons accumuler avant que les choses tournent mal. Souvent nous ne voulons pas necessairement utiliser la version la plus performante d'une idee de recherche, mais nous preferons echanger un peu de performance contre une version legerement moins complexe.) L'insight contre-intuitif : le plus simple gagne sur l'optimal parce que ca permet plus de progres futur.

Sur le meilleur test de modele : "The amount of time people spend using the model to make themselves more productive internally is increasing over time. Every new generation of models, it's pretty clear the model can do new things and help us in our research." (Le temps que les gens passent a utiliser le modele pour se rendre plus productifs en interne augmente avec le temps. A chaque nouvelle generation de modeles, c'est assez clair que le modele peut faire de nouvelles choses et nous aider dans notre recherche.) L'usage interne - les chercheurs utilisant leurs propres modeles pour la recherche - est la vraie evaluation au-dela des benchmarks.

Sur l'echelle de l'equipe : "It's a fairly large team at this point. Maybe 150-200 people work on a day-to-day on the pre-training side between data, model, infrastructure, evals." (C'est une equipe assez grande a ce stade. Peut-etre 150-200 personnes travaillent au quotidien cote pre-entrainement entre donnees, modele, infrastructure, evals.) C'est l'echelle requise pour progresser sur les modeles de pointe - et coordonner autant de personnes est "en fait assez complique."

Sur l'IA pour la recherche IA : "Especially in the next year with more agentic workflows being enabled... that should be able to really accelerate our work. A lot of the day-to-day work is running experiments, babysitting experiments, analyzing data, collecting results. The interesting part is forming hypotheses and designing new experiments." (Surtout l'annee prochaine avec plus de workflows agentiques actives... ca devrait pouvoir vraiment accelerer notre travail. Beaucoup du travail quotidien c'est faire tourner des experiences, surveiller des experiences, analyser des donnees, collecter des resultats. La partie interessante c'est former des hypotheses et concevoir de nouvelles experiences.) La meta-boucle : utiliser l'IA pour accelerer la recherche IA en automatisant les parties mecaniques.

5 enseignements de Bourjou sur la recherche IA a grande echelle

• Systemes avant modeles - Gemini 3 n'est pas juste un reseau neuronal ; c'est de l'infrastructure, des pipelines de donnees, de l'evaluation et du travail d'integration qui sont collectivement plus importants que l'architecture
• 150-200 personnes coordonnent le pre-entrainement - L'echelle du developpement de modeles de pointe necessite une coordination massive, et obtenir des progres de tout le monde compte plus que quelques-uns qui courent devant
• Gout en recherche = eviter la complexite - Les meilleurs chercheurs ne poursuivent pas les solutions optimales ; ils poursuivent des solutions assez simples pour permettre les progres futurs
• L'usage interne est la vraie eval - Au-dela des benchmarks, le vrai test est si les chercheurs eux-memes sont plus productifs avec chaque nouvelle generation de modele
• Les workflows agentiques accelerent la recherche - DeepMind s'attend a ce que l'IA automatise le lancement d'experiences et l'analyse, liberant les chercheurs pour la formation d'hypotheses

Ce que cela signifie pour les organisations IA

La perspective de Bourjou recadre ce que construire l'IA signifie vraiment a la frontiere : c'est un probleme d'integration de systemes necessitant plus de 150 personnes, ou le gout en recherche signifie eviter activement la complexite, et ou les modeles eux-memes accelerent de plus en plus leur propre developpement. Pour les organisations reflechissant aux capacites IA, l'implication est claire - meme les laboratoires d'IA les plus sophistiques voient cela comme du travail d'infrastructure et de coordination, pas de l'entrainement de modeles magique.