À propos de Jeff Dean
Jeff Dean est le scientifique en chef de Google DeepMind et Google Research, souvent appelé le “Chuck Norris de l’informatique” pour ses contributions légendaires aux systèmes et à l’IA. Il a joué un rôle déterminant dans la conception de nombreux systèmes fondamentaux de Google et est co-responsable du projet Gemini.
Faits marquants de sa carrière
- Google (1999-présent) : A construit des systèmes fondamentaux incluant MapReduce, BigTable, Spanner et TensorFlow
- Développement TPU : A dirigé le développement des unités de traitement tensoriel de Google
- Gemini : Co-responsable du modèle IA phare de Google
- Contributions académiques : Co-auteur d’articles influents sur les systèmes distribués et l’apprentissage automatique
Contributions techniques
Développement des TPU
Dean supervise le développement des TPU de Google, maintenant dans sa septième génération (“Ironwood”) :
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
“À chaque génération de TPU, nous essayons vraiment de profiter des opportunités de co-conception que nous avons avec beaucoup de chercheurs qui réfléchissent aux calculs ML que nous voudrons exécuter dans 2,5 à 6 ans.”
Cela implique un exercice de prévision fascinant - prédire l’avenir du ML pour concevoir du matériel des années à l’avance.
Systèmes qui ont façonné l’industrie
Le travail de Dean sur les systèmes chez Google a créé des modèles pour toute l’industrie :
- MapReduce - A inspiré Hadoop et le traitement de données moderne
- BigTable - Modèle pour les bases de données NoSQL
- Spanner - Base de données distribuée mondialement
- TensorFlow - Framework ML open source
Positions notables
Sur le financement de la recherche académique
Dean est un fervent défenseur du financement public de la recherche académique :
“I feel like it’s really important to have a vibrant academic research ecosystem in the US and also in the world because those early stage creative ideas are often the things that lead to major breakthroughs and innovations.”
“Je pense qu’il est vraiment important d’avoir un écosystème de recherche académique dynamique aux États-Unis et aussi dans le monde car ces idées créatives en phase précoce sont souvent ce qui mène à des percées et innovations majeures.”
Il note que la révolution de l’apprentissage profond a été construite sur la recherche académique d’il y a 30-40 ans, et Google lui-même a été construit sur des travaux académiques incluant TCP/IP et le projet Stanford Digital Library qui a financé PageRank.
Sur les moonshots de recherche
Dean plaide pour des moonshots de recherche de 3-5 ans avec des équipes mixtes :
“I really like the 3 to 5 year time horizon kind of thing with an ambitious set of people around a particular thing they’re trying to achieve because it’s not so distant that it won’t have impact, but it’s not so short that you can’t conceive of doing something ambitious.”
“J’aime vraiment l’horizon temporel de 3 à 5 ans avec un groupe ambitieux de personnes autour d’une chose particulière qu’ils essaient de réaliser car ce n’est pas si lointain que ça n’aura pas d’impact, mais ce n’est pas si court que vous ne pouvez pas concevoir de faire quelque chose d’ambitieux.”
Citations clés
- “Essayer de prédire un domaine en évolution très rapide n’est pas très facile.”
- “Les retours sont assez importants pour la société” (sur le financement de la recherche académique)
- “3 à 5 ans est une plage de temps délicieuse à considérer” (sur la planification de la recherche)
Lectures associées
- TPU - Les puces IA personnalisées que Dean a aidé à développer
- Infrastructure IA - La couche système que Dean a façonnée
Video Mentions
Premiers travaux sur le scaling
J'ai construit le parallélisme de données et le parallélisme de modèles dans ma thèse de premier cycle de 1990. J'ai fait une énorme erreur - je n'ai pas augmenté la taille du modèle en ajoutant des processeurs.
Lois de scaling informelles
Nous avions un excellent dicton chez Google Brain : modèle plus grand, plus de données, plus de calcul. Nous ne l'avons pas formalisé comme des lois de scaling mais nous savions.
Multiplication du calcul
Les améliorations algorithmiques comme les transformers et les modèles épars se multiplient avec le matériel. Nous faisons des milliards de fois plus de calculs qu'il y a 10 ans.
Annonce de Google TPU Ironwood
Voici Ironwood, la septième génération de TPU. Il a beaucoup de nouvelles capacités, connectées ensemble dans de très grandes configurations que nous appelons pods - 9216 puces par pod.
Co-conception matériel-logiciel
À chaque génération de TPU, nous essayons vraiment de profiter des opportunités de co-conception... avoir beaucoup de chercheurs qui réfléchissent aux calculs ML que nous voudrons exécuter dans 2,5 à 6 ans.
Plaidoyer pour le financement de la recherche académique
Je pense qu'il est vraiment important d'avoir un écosystème de recherche académique dynamique car ces idées créatives en phase précoce sont souvent ce qui mène à des percées majeures.