O Jeff Dean
Jeff Dean je hlavný vedec Google DeepMind a Google Research, často nazývaný “Chuck Norris informatiky” za svoje legendárne príspevky k systémom a AI. Bol kľúčový pri dizajnovaní mnohých základných systémov Google a je spolu-vedúci projektu Gemini.
Kariérne míľniky
- Google (1999-súčasnosť): Postavil základné systémy vrátane MapReduce, BigTable, Spanner a TensorFlow
- Vývoj TPU: Viedol vývoj Tensor Processing Units Google
- Gemini: Spolu-vedúci vlajkového AI modelu Google
- Akademické príspevky: Spoluautor vplyvných článkov o distribuovaných systémoch a strojovom učení
Technické príspevky
Vývoj TPU
Dean dohliadá na vývoj TPU Google, teraz v siedmej generácii (“Ironwood”):
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
“Každú generáciu TPU sa skutočne snažíme využiť príležitosti ko-dizajnu, ktoré máme s tým, že máme veľa výskumníkov premýšľajúcich o tom, kde ML výpočty budeme chcieť spúšťať o 2,5 až 6 rokov.”
Toto zahŕňa fascinujúce prognózovanie - predpovedanie budúcnosti ML na dizajnovanie hardwaru roky dopredu.
Systémy, ktoré formovali odvetvie
Deanove systémové práce v Google vytvorili šablóny pre celé odvetvie:
- MapReduce - Inšpiroval Hadoop a moderné spracovanie dát
- BigTable - Šablóna pre NoSQL databázy
- Spanner - Globálne distribuovaná databáza
- TensorFlow - Open-source ML framework
Významné postoje
O financovaní akademického výskumu
Dean je silným zástancom verejného financovania akademického výskumu:
“I feel like it’s really important to have a vibrant academic research ecosystem in the US and also in the world because those early stage creative ideas are often the things that lead to major breakthroughs and innovations.”
“Mám pocit, že je naozaj dôležité mať živý akademický výskumný ekosystém v USA a tiež vo svete, pretože tie skoré kreatívne nápady sú často veci, ktoré vedú k hlavným prielomom a inováciám.”
Poznamenáva, že revolúcia hlbokého učenia bola postavená na akademickom výskume spred 30-40 rokov, a samotný Google bol postavený na akademickej práci vrátane TCP/IP a Stanford Digital Library Project, ktorý financoval PageRank.
O výskumných moonshots
Dean zastáva 3-5 ročné výskumné moonshoty so zmiešanými tímami:
“I really like the 3 to 5 year time horizon kind of thing with an ambitious set of people around a particular thing they’re trying to achieve because it’s not so distant that it won’t have impact, but it’s not so short that you can’t conceive of doing something ambitious.”
“Naozaj sa mi páči 3 až 5 ročný časový horizont s ambicióznou skupinou ľudí okolo konkrétnej veci, ktorú sa snažia dosiahnuť, pretože to nie je tak ďaleko, že to nebude mať vplyv, ale nie je to tak krátke, že si nemôžete predstaviť urobiť niečo ambiciózne.”
Kľúčové citáty
- “Pokúsiť sa predpovedať veľmi rýchlo sa vyvíjajúce pole nie je veľmi jednoduchá vec.”
- “Návratnosť sú celkom veľké pre spoločnosť” (o financovaní akademického výskumu)
- “3 až 5 rokov je príjemný časový rozsah na zváženie” (o plánovaní výskumu)
Súvisiace čítanie
- TPU - Vlastné AI čipy, ktoré Dean pomohol vyvinúť
- AI Infrastructure - Systémová vrstva, ktorú Dean formoval
Video Mentions
Skorá práca na škálovaní
Postavil som dátový paralelizmus a modelový paralelizmus do mojej bakalárskej práce z roku 1990. Urobil som obrovskú chybu - nezvyšoval som veľkosť modelu, keď som pridával procesory.
Neformálne škálovacie zákony
Mali sme skvelé heslo v Google Brain: väčší model, viac dát, viac výpočtov. Neformalizovali sme to ako škálovacie zákony, ale vedeli sme.
Násobenie výpočtov
Algoritmické vylepšenia ako transformery a sparse modely sa násobí spolu s hardwarom. Robíme miliardy krát viac výpočtov ako pred 10 rokmi.
Oznámenie Google TPU Ironwood
Toto je Ironwood, siedma generácia TPU. Má celkom veľa nových schopností, prepojených dokopy do veľmi veľkých konfigurácií, ktoré nazývame pods - 9216 čipov na pod.
Ko-dizajn hardwaru a softwaru
Každú generáciu TPU sa skutočne snažíme využiť príležitosti ko-dizajnu... majúc veľa výskumníkov premýšľajúcich o tom, kde ML výpočty budeme chcieť spúšťať o 2,5 až 6 rokov.
Advokácia financovania akademického výskumu
Mám pocit, že je naozaj dôležité mať živý akademický výskumný ekosystém, pretože tie skoré kreatívne nápady sú často veci, ktoré vedú k hlavným prielomom.