O Jeff Dean
Jeff Dean je Chief Scientist Google DeepMind a Google Research, často nazývaný “Chuck Norris informatiky” pro své legendární příspěvky k systémům a AI. Byl klíčový v designu mnoha zakladatelských Google systémů a je spolu-vůdcem projektu Gemini.
Kariérní milníky
- Google (1999-současnost): Postavil zakladatelské systémy včetně MapReduce, BigTable, Spanner a TensorFlow
- TPU Development: Vedl vývoj Google Tensor Processing Units
- Gemini: Spolu-vůdce Google vlajkového AI modelu
- Akademické příspěvky: Spoluautor vlivných článků o distribuovaných systémech a strojovém učení
Technické příspěvky
TPU vývoj
Dean dohlíží na vývoj Google TPU, nyní v sedmé generaci (“Ironwood”):
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
Překlad: “Každou generaci TPU se opravdu snažíme využít příležitostí co-designu, které máme s mnoha výzkumníky přemýšlejícími o tom, kde ML výpočty budeme chtít běžet za 2,5 až 6 let.”
Klíčové citáty
- “Predikovat velmi rychle se pohybující obor není snadná věc.”
- “Výnosy jsou docela velké pro společnost” (o financování akademického výzkumu)
Související články
- TPU - Custom AI čipy, které Dean pomohl vyvinout
- AI Infrastructure - Vrstva systémů, kterou Dean formoval
Video Mentions
Raná práce na škálování
Postavil jsem data parallelism a model parallelism do své diplomky z roku 1990. Udělal jsem obrovskou chybu - nezvýšil jsem velikost modelu, jak jsem přidával procesory.
Neformální škálovací zákony
Měli jsme skvělé heslo v Google Brain: větší model, více dat, více výpočtů. Neformalizovali jsme to jako škálovací zákony, ale věděli jsme.
Google TPU Ironwood oznámení
Toto je Ironwood, sedmá generace TPU. Má spoustu nových schopností, propojených do velmi velkých konfigurací, které nazýváme pody - 9216 čipů na pod.