NeurIPS 2025: Jeff Dean, Yejin Choi a stav AI výzkumu

Co NeurIPS 2025 odhaluje o směrech AI výzkumu

Toto video zachycuje puls frontier AI výzkumu skrze upřímné rozhovory na NeurIPS 2025. Konverzace odhalují obor zápasící s fundamentálními otázkami o tom, čeho současné přístupy mohou a nemohou dosáhnout.

Jeff Dean diskutuje 7. generaci TPU "Ironwood" od Googlu a náročné cvičení predikce potřeb ML výpočtu 2,5 až 6 let dopředu pro design hardwaru. Zajímavější je jeho obhajoba financování akademického výzkumu - on a kolegové nedávno publikovali paper sledující, jak byl Google postaven na akademickém výzkumu (TCP/IP, Stanford Digital Library Project, který financoval PageRank, neuronové sítě z před 30-40 lety). Jeho pitch: 3-5 leté výzkumné moonshoty se smíšenými týmy jsou sweet spot pro ambiciózní ale dosažitelné cíle.

Yejin Choi přináší nejprovokativnější pohled: navzdory nadšení kolem reinforcement learningu, vše se vrací k datům. RL není magická explorace - je to "syntetizování ještě více dat, protože tolik dat stále není dost dobré." Její obava je, že všechny současné přístupy interpolují v "sousedství internetových dat" - artefaktu lidských znalostí - což není totéž jako objevování nových pravd jako jak vyléčit rakovinu. Obhajuje "abduktivní uvažování" (formování hypotéz z částečných pozorování, jako Sherlock Holmes) spíše než jen induktivní a deduktivní uvažování, které nazývá "regurgitací informací, které jste už měli."

Rozhovor Roberta Nishihary přidává historický kontext - NeurIPS šel od 400 lidí, kteří plánovali workshopy kolem lyžařských přestávek, na 30 000 účastníků. Jeho postřeh o podinvestování: většina výzkumu se zaměřuje na získávání znalostí do vah modelu, ale "je toho hodně, co se dá udělat" s přístupy založenými na kontextu. Předpovídá průlomy v kontinuálním učení bez změny vah modelu vůbec.

4 postřehy od Jeffa Deana, Yejin Choi a Roberta Nishihary

• Jeffovo cvičení prognózování pro design TPU: předpovídat, jaké ML výpočty obor bude potřebovat za 2,5-6 let, pak budovat hardwarové funkce pro věci, které "mohou být důležité", i když nejisté
• Yejin Choi argumentuje, že RL pro uvažování není fundamentálně odlišné od supervised fine-tuningu - oboje jsou strategie syntézy dat, a s dostatečným úsilím SFT (jako OpenThought) může porazit RL přístupy
• "Abduktivní uvažování" - formování hypotéz z částečných pozorování - je to, co vědci a detektivové skutečně dělají, odlišné od indukce/dedukce, které Choi nazývá "parafráze toho, co už bylo ve vašich znalostech"
• Robert Nishihara předpovídá průlomy v kontinuálním učení přes správu kontextu spíše než aktualizace vah - dnešní uvažování je "vyhozeno" po každé session