Acerca de Jeff Dean
Jeff Dean es el Científico Jefe de Google DeepMind y Google Research, a menudo llamado el “Chuck Norris de las Ciencias de la Computación” por sus legendarias contribuciones a sistemas e IA. Ha sido fundamental en diseñar muchos de los sistemas fundamentales de Google y es co-líder del proyecto Gemini.
Hitos de Carrera
- Google (1999-presente): Construyó sistemas fundamentales incluyendo MapReduce, BigTable, Spanner y TensorFlow
- Desarrollo de TPU: Lideró el desarrollo de las Unidades de Procesamiento Tensor de Google
- Gemini: Co-líder del modelo de IA insignia de Google
- Contribuciones Académicas: Co-autor de influyentes papers sobre sistemas distribuidos y aprendizaje automático
Contribuciones Técnicas
Desarrollo de TPU
Dean supervisa el desarrollo de TPU de Google, ahora en su séptima generación (“Ironwood”):
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
“Cada generación de TPU realmente intentamos aprovechar las oportunidades de co-diseño que tenemos con muchos investigadores pensando en dónde van a estar las computaciones de ML que querremos ejecutar dentro de 2.5 a 6 años.”
Esto involucra un fascinante ejercicio de pronóstico - predecir el futuro del ML para diseñar hardware con años de anticipación.
Sistemas que Formaron la Industria
El trabajo de sistemas de Dean en Google creó plantillas para toda la industria:
- MapReduce - Inspiró Hadoop y el procesamiento moderno de datos
- BigTable - Plantilla para bases de datos NoSQL
- Spanner - Base de datos distribuida globalmente
- TensorFlow - Framework de ML de código abierto
Posiciones Notables
Sobre Financiamiento de Investigación Académica
Dean es un fuerte defensor del financiamiento público de investigación académica:
“I feel like it’s really important to have a vibrant academic research ecosystem in the US and also in the world because those early stage creative ideas are often the things that lead to major breakthroughs and innovations.”
“Siento que es realmente importante tener un ecosistema de investigación académica vibrante en los EE.UU. y también en el mundo porque esas ideas creativas en etapa temprana son a menudo las cosas que conducen a avances e innovaciones importantes.”
Nota que la revolución del aprendizaje profundo se construyó sobre investigación académica de hace 30-40 años, y Google mismo se construyó sobre trabajo académico incluyendo TCP/IP y el Proyecto de Biblioteca Digital de Stanford que financió PageRank.
Sobre Moonshots de Investigación
Dean aboga por moonshots de investigación de 3-5 años con equipos mixtos:
“I really like the 3 to 5 year time horizon kind of thing with an ambitious set of people around a particular thing they’re trying to achieve because it’s not so distant that it won’t have impact, but it’s not so short that you can’t conceive of doing something ambitious.”
“Realmente me gusta el horizonte de tiempo de 3 a 5 años con un conjunto ambicioso de personas alrededor de algo particular que están tratando de lograr porque no está tan distante que no tendrá impacto, pero no es tan corto que no puedas concebir hacer algo ambicioso.”
Citas Clave
- “Tratar de predecir un campo que se mueve muy rápido no es algo muy fácil.”
- “Los retornos son bastante grandes para la sociedad” (sobre financiamiento de investigación académica)
- “3 a 5 años es un rango de tiempo delicioso a considerar” (sobre planificación de investigación)
Lectura Relacionada
- TPU - Los chips de IA personalizados que Dean ayudó a desarrollar
- AI Infrastructure - La capa de sistemas que Dean ha formado
Video Mentions
Trabajo temprano de escalamiento
Construí paralelismo de datos y paralelismo de modelo en mi tesis de pregrado de 1990. Cometí un gran error - no aumenté el tamaño del modelo a medida que agregaba procesadores.
Leyes de escalamiento informales
Teníamos un gran dicho en Google Brain: modelo más grande, más datos, más computación. No lo formalizamos como leyes de escalamiento pero lo sabíamos.
Multiplicación de computación
Las mejoras algorítmicas como transformers y modelos dispersos se multiplican junto con el hardware. Estamos haciendo miles de millones de veces más computación que hace 10 años.
Anuncio de Google TPU Ironwood
Este es Ironwood, la séptima generación de TPUs. Tiene bastantes nuevas capacidades, conectadas juntas en configuraciones muy grandes que llamamos pods - 9216 chips por pod.
Co-diseño hardware-software
Cada generación de TPU realmente intentamos aprovechar las oportunidades de co-diseño... teniendo muchos investigadores pensando en dónde van a estar las computaciones de ML que querremos ejecutar dentro de 2.5 a 6 años.
Defensa del financiamiento de investigación académica
Siento que es realmente importante tener un ecosistema de investigación académica vibrante porque esas ideas creativas en etapa temprana son a menudo las cosas que conducen a avances importantes.