Jeff Dean v NeurIPS: Náčrtek na ubrousku, který spustil TPUs, a proč akademický AI výzkum potřebuje financování

Perspektiva

Jedná se o Jeffa Deana v NeurIPS 2024, kdy právě oznamuje TPU v7 (Ironwood), a je to jiná stránka jeho osobnosti - méně technické přednášky, více strategické úvahy o tom, jak AI inovace skutečně probíhají a proč potřebují institucionální podporu.

Náčrtek na ubrousku, který навždy změnil hardware. V roce 2013 provedl Dean záda-obálkový výpočet: pokud by Google zavedl svůj lepší model rozpoznávání řeči pro 100 milionů uživatelů na několik minut denně, musel by zdvojnásobit celou kapacitu datových center Googlu - pouze pro jedno zlepšení funkce. "Požadavky na výpočetní výkon byly velmi alarmující." Tento myšlenkový experiment zahájil program TPU. Do roku 2015 byl TPUv1 v datových centrech - 30-70x energeticky účinnější než CPU/GPU, 15-30x rychlejší. Před érou transformerů.

Kodesign hardwaru a softwaru předpovídá celé ML pole. Každá generace TPU vyžaduje předpověd toho, kde budou výpočty ML za 2,5-6 let v budoucnosti. "Není to velmi snadné." Strategie: přidat malé hardwarové funkce, které by mohly mít smysl. Pokud se vyplátí, jste připraveni. Pokud ne, ztratíte malou část plochy čipu. Architektura transformeru byla vytvořena v Googlu v "velmi podobném časovém rámci" jako TPUs - náhoda v kodesignu.

Abstrakce Pathways je podceňovaná. Jeden proces Python může adresovat 20 000 TPU zařízení napříč několika pody, více budov, více metropolitních oblastí. Pathways automaticky určuje, kterou síť použít - vysokorychlostní propojení v rámci podů, datové síťě datových center napříč pody, dlouhé trasy napříč městy. Veškeré tréninky Gemini běží na Jax → Pathways → XLA → TPUs.

Financování akademického výzkumu je Deanův projekt vášní. "Celá revoluce hlubokého učení byla založena na akademickém výzkumu před 30-40 lety." Neuronové sítě a backpropagace pocházely z akademie. Sám Google byl postaven na TCP/IP, procesorech RISC a Stanfordském projektu digitální knihovny (který financoval PageRank). Dean se zasazuje za model Lo Institute: granty na 3-5letý moonshot s 3-5 PI a 30-50 doktorandy zaměřenými na konkrétní společenské dopady.

Moonshot zdravotnictví: naučte se z každého minulého rozhodnutí, aby informovalo každé budoucí rozhodnutí. Deanův aspirační cíl: využívat každé minulé zdravotnické rozhodnutí, aby pomohl každému klinickému pracovníkovi a každému člověku dělat lepší rozhodnutí. "Velmi obtížné" kvůli ochraně soukromí, regulační fragmentaci a nekonzistencím v datových formátech. Vyžaduje federated learning a privacy-preserving ML, protože "nebudete moci přesouvat zdravotnické údaje z místa, kde se nacházejí."

Klíčové poznatky

• TPU v7 (Ironwood) - 9 216 čipů na pod, podpora FP4 přesnosti, 3 600x špičkový výkon vs TPUv2
• Náčrtek na ubrousku - Zavedení lepšího rozpoznávání řeči by zdvojnásobilo datová centra Googlu; TPUs byly existenční
• TPUv1 (2015) - 30-70x energeticky účinnější, 15-30x rychlejší než CPU/GPU; předtransformerská éra
• Hardwarové prognózování - Každá generace TPU vyžaduje předpověd ML potřeb 2,5-6 let dopředu
• Pathways - Jeden proces Python adresuje 20 000 zařízení napříč metropolitami; veškený trénink Gemini používá toto
• Spektrum publikování - Není binární publikovat/nepublikovat; funkce Pixelu se nejdřív nasadí, SIGGRAPH články následují
• Interní výzkumná konference Googlu - 6 000 účastníků; "může se zdát, že o rok napřed" NeurIPS
• 3-5letý moonshot - Deanův preferovaný časový horizont: "ne tak vzdálený, aby neměl dopad, ne tak krátký, abyste nemohli být ambiciózní"
• Titan paper - Hybridní transformátor + recurrence; "zajímavá myšlenka k prozkoumání", ale ještě není v Gemini
• Moonshot zdravotnictví - Naučit se z každého minulého rozhodnutí; vyžaduje federated learning, nelze přesouvat zdravotnické údaje

Větší obrázek

TPUs existují, protože náčrtek na ubrousku ukázal, že zavedení lepšího rozpoznávání řeči by zdvojnásobilo datová centra Googlu. Kodesign hardwaru a softwaru vyžaduje předpověd ML potřeb 2,5-6 let dopředu. Dnes jeden proces Python může adresovat 20 000 zařízení napříč několika městy. To je infrastruktura, která umožňuje frontier modely.