NeurIPS 2025: Jeff Dean, Yejin Choi a stav AI výskumu

Perspektíva

Toto video zachytáva pulz frontier AI výskumu cez otvorené rozhovory na NeurIPS 2025. Konverzácie odhaľujú oblasť zápasiacu s fundamentálnymi otázkami o tom, čo súčasné prístupy môžu a nemôžu dosiahnuť.

Jeff Dean diskutuje o 7. generácii TPU Google "Ironwood" a náročnom cvičení predpovedania potrieb ML výpočtov 2,5 až 6 rokov dopredu pre návrh hardvéru. Zaujímavejšia je jeho obhajoba financovania akademického výskumu - on a kolegovia nedávno publikovali paper sledujúci, ako bol Google postavený na akademickom výskume (TCP/IP, Stanford Digital Library Project, ktorý financoval PageRank, neurónové siete spred 30-40 rokov). Jeho pitch: 3-5 ročné výskumné moonshoty so zmiešanými tímami sú sweet spot pre ambiciózne, ale dosiahnuteľné ciele.

Yejin Choi prináša najprovokujúcejší pohľad: napriek vzrušeniu okolo reinforcement learning, všetko sa vracia k dátam. RL nie je magická explorácia - je to "syntetizovanie ešte viac dát, pretože toľko dát stále nie je dosť." Jej obava je, že všetky súčasné prístupy interpolujú vo vnútri "susedstva internetových dát" - artefaktu ľudských znalostí - čo nie je to isté ako objavovanie nových právd ako ako vyliečiť rakovinu. Obhajuje "abduktívne uvažovanie" (formovanie hypotéz z čiastočných pozorovaní, ako Sherlock Holmes) radšej ako len induktívne a deduktívne uvažovanie, ktoré nazýva "regurgitáciou informácií, ktoré ste už mali."

Rozhovor Roberta Nishiharu pridáva historický kontext - NeurIPS prešiel od 400 ľudí, ktorí plánovali workshopy okolo lyžiarskych prestávok, na 30 000 účastníkov. Jeho pohľad na podfinancovanie: väčšina výskumu sa zameriava na dostanie znalostí do váh modelu, ale "je toho toľko, čo sa dá urobiť" s prístupmi založenými na kontexte. Predpokladá prelomy v kontinuálnom učení bez zmeny váh modelu vôbec.

Kľúčové poznatky

• Cvičenie predpovedania Jeffa Deana pre návrh TPU: predpovedať, aké ML výpočty bude oblasť potrebovať za 2,5-6 rokov, potom postaviť hardvérové features pre veci, ktoré "môžu byť dôležité" aj keď neisté
• Yejin Choi argumentuje, že RL pre uvažovanie nie je fundamentálne odlišné od supervised fine-tuning - oboje sú stratégie syntézy dát a s dostatočným úsilím SFT (ako OpenThought) môže poraziť RL prístupy
• "Abduktívne uvažovanie" - formovanie hypotéz z čiastočných pozorovaní - je to, čo vedci a detektívi skutočne robia, odlišné od indukcie/dedukcie, ktoré Choi nazýva "parafrázovanie toho, čo už bolo vo vašich znalostiach"
• Robert Nishihara predpovedá prelomy v kontinuálnom učení cez manažment kontextu radšej ako aktualizácie váh - dnešné uvažovanie sa "zahodí" po každej relácii