Über Jeff Dean
Jeff Dean ist Chief Scientist von Google DeepMind und Google Research, oft als “Chuck Norris der Informatik” für seine legendären Beiträge zu Systemen und KI bezeichnet. Er war maßgeblich an der Gestaltung vieler grundlegender Systeme von Google beteiligt und ist Co-Lead des Gemini-Projekts.
Karriere-Höhepunkte
- Google (1999-heute): Baute grundlegende Systeme einschließlich MapReduce, BigTable, Spanner und TensorFlow
- TPU-Entwicklung: Leitete die Entwicklung von Googles Tensor Processing Units
- Gemini: Co-Lead von Googles Flaggschiff-KI-Modell
- Akademische Beiträge: Co-Autor einflussreicher Papiere zu verteilten Systemen und maschinellem Lernen
Technische Beiträge
TPU-Entwicklung
Dean überwacht Googles TPU-Entwicklung, jetzt in der siebten Generation (“Ironwood”):
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
Deutsche Übersetzung: “Bei jeder TPU-Generation versuchen wir wirklich, die Co-Design-Möglichkeiten zu nutzen, die wir mit vielen Forschern haben, die darüber nachdenken, welche ML-Berechnungen wir in 2,5 bis 6 Jahren ausführen wollen.”
Dies beinhaltet eine faszinierende Prognoseübung - die Zukunft von ML vorherzusagen, um Hardware Jahre im Voraus zu entwerfen.
Systeme, die die Industrie formten
Deans Systemarbeit bei Google schuf Vorlagen für die gesamte Industrie:
- MapReduce - Inspirierte Hadoop und moderne Datenverarbeitung
- BigTable - Vorlage für NoSQL-Datenbanken
- Spanner - Global verteilte Datenbank
- TensorFlow - Open-Source ML-Framework
Bemerkenswerte Positionen
Über akademische Forschungsförderung
Dean ist ein starker Befürworter öffentlicher Förderung akademischer Forschung:
“I feel like it’s really important to have a vibrant academic research ecosystem in the US and also in the world because those early stage creative ideas are often the things that lead to major breakthroughs and innovations.”
Deutsche Übersetzung: “Ich denke, es ist wirklich wichtig, ein lebendiges akademisches Forschungsökosystem in den USA und auch in der Welt zu haben, weil diese frühen kreativen Ideen oft die Dinge sind, die zu großen Durchbrüchen und Innovationen führen.”
Er merkt an, dass die Deep-Learning-Revolution auf akademischer Forschung von vor 30-40 Jahren aufbaute, und Google selbst auf akademischer Arbeit aufgebaut wurde, einschließlich TCP/IP und dem Stanford Digital Library Project, das PageRank finanzierte.
Über Forschungs-Moonshots
Dean befürwortet 3-5-jährige Forschungs-Moonshots mit gemischten Teams:
“I really like the 3 to 5 year time horizon kind of thing with an ambitious set of people around a particular thing they’re trying to achieve because it’s not so distant that it won’t have impact, but it’s not so short that you can’t conceive of doing something ambitious.”
Deutsche Übersetzung: “Ich mag wirklich den 3- bis 5-Jahres-Zeithorizont mit einer ehrgeizigen Gruppe von Leuten um eine bestimmte Sache, die sie zu erreichen versuchen, weil es nicht so weit entfernt ist, dass es keine Auswirkungen haben wird, aber nicht so kurz, dass man nichts Ehrgeiziges konzipieren kann.”
Wichtige Zitate
- “Ein sich schnell bewegendes Feld vorherzusagen ist keine sehr einfache Sache.”
- “Die Renditen sind für die Gesellschaft ziemlich hoch” (über akademische Forschungsförderung)
- “3 bis 5 Jahre ist ein herrlicher Zeitrahmen” (über Forschungsplanung)
Weiterführende Literatur
- TPU - Die Custom-KI-Chips, die Dean mitentwickelt hat
- AI Infrastructure - Die Systemschicht, die Dean geprägt hat
Video Mentions
Frühe Skalierungsarbeit
Ich habe Datenparallelität und Modellparallelität in meine Bachelorarbeit 1990 eingebaut. Ich machte einen riesigen Fehler - ich erhöhte die Modellgröße nicht, als ich Prozessoren hinzufügte.
Informelle Skalierungsgesetze
Wir hatten bei Google Brain ein großartiges Motto: größeres Modell, mehr Daten, mehr Rechenleistung. Wir formalisierten es nicht als Skalierungsgesetze, aber wir wussten es.
Rechen-Multiplikation
Algorithmische Verbesserungen wie Transformer und Sparse Models multiplizieren sich mit Hardware. Wir führen Milliarden Mal mehr Berechnungen durch als vor 10 Jahren.
Google TPU Ironwood Ankündigung
Das ist Ironwood, die siebte Generation von TPUs. Es hat ziemlich viele neue Fähigkeiten, verbunden zu sehr großen Konfigurationen, die wir Pods nennen - 9216 Chips pro Pod.
Hardware-Software Co-Design
Bei jeder TPU-Generation versuchen wir wirklich, die Co-Design-Möglichkeiten zu nutzen... viele Forscher denken darüber nach, welche ML-Berechnungen wir in 2,5 bis 6 Jahren ausführen wollen.
Befürwortung akademischer Forschungsförderung
Ich denke, es ist wirklich wichtig, ein lebendiges akademisches Forschungsökosystem zu haben, weil diese frühen kreativen Ideen oft die Dinge sind, die zu großen Durchbrüchen führen.