NeurIPS 2025: Jeff Dean, Yejin Choi und der Stand der KI-Forschung

Was NeurIPS 2025 über KI-Forschungsrichtungen enthüllt

Dieses Video erfasst den Puls der Frontier-KI-Forschung durch offene Interviews bei NeurIPS 2025. Die Gespräche enthüllen ein Feld, das mit fundamentalen Fragen ringt darüber, was aktuelle Ansätze können und nicht können.

Jeff Dean diskutiert Googles 7.-Generations-TPU "Ironwood" und die herausfordernde Übung, ML-Rechenbedürfnisse 2,5 bis 6 Jahre im Voraus für Hardware-Design vorherzusagen. Interessanter ist seine Befürwortung akademischer Forschungsfinanzierung - er und Kollegen haben kürzlich ein Paper veröffentlicht, das zurückverfolgt, wie Google auf akademischer Forschung gebaut wurde (TCP/IP, das Stanford Digital Library Project, das PageRank finanzierte, neuronale Netzwerke von vor 30-40 Jahren). Sein Pitch: 3-5-jährige Forschungs-Moonshots mit gemischten Teams sind der Sweet Spot für ambitionierte, aber erreichbare Ziele.

Yejin Choi liefert die provokativste Einschätzung: Trotz der Aufregung um Reinforcement Learning kommt alles auf Daten zurück. RL ist keine magische Exploration - es ist "noch mehr Daten synthetisieren, weil so viele Daten immer noch nicht gut genug sind." Ihre Sorge ist, dass alle aktuellen Ansätze innerhalb "der Nachbarschaft von Internet-Daten" interpolieren - dem Artefakt menschlichen Wissens - was nicht dasselbe ist wie neue Wahrheiten zu entdecken, wie man Krebs heilt. Sie plädiert für "abduktives Reasoning" (Hypothesen aus partiellen Beobachtungen bilden, wie Sherlock Holmes) anstatt nur induktivem und deduktivem Reasoning, das sie "Wiedergabe von Information, die du schon hattest" nennt.

Robert Nishiharas Interview fügt historischen Kontext hinzu - NeurIPS ging von 400 Leuten, die Workshops um Skipausen herum planten, zu 30.000 Teilnehmern. Seine Erkenntnis zu Unterinvestition: Die meiste Forschung konzentriert sich darauf, Wissen in Modellgewichte zu bekommen, aber "es gibt eine Menge, die getan werden kann" mit kontextbasierten Ansätzen. Er stellt sich kontinuierliche Lern-Durchbrüche vor, die passieren, ohne Modellgewichte überhaupt zu ändern.

4 Erkenntnisse von Jeff Dean, Yejin Choi und Robert Nishihara

• Jeff Deans Vorhersageübung für TPU-Design: Vorhersagen, welche ML-Berechnungen das Feld in 2,5-6 Jahren brauchen wird, dann Hardware-Features für Dinge bauen, die "wichtig sein könnten", auch wenn unsicher
• Yejin Choi argumentiert, dass RL für Reasoning nicht fundamental anders ist als Supervised Fine-Tuning - beide sind Datensynthese-Strategien, und mit genug Aufwand kann SFT (wie OpenThought) RL-Ansätze schlagen
• "Abduktives Reasoning" - Hypothesen aus partiellen Beobachtungen bilden - ist, was Wissenschaftler und Detektive tatsächlich machen, unterschieden von Induktion/Deduktion, das Choi "Paraphrasieren dessen, was bereits in deinem Wissen war" nennt
• Robert Nishihara prognostiziert Durchbrüche bei kontinuierlichem Lernen via Kontextmanagement statt Gewichtsupdates - heutiges Reasoning wird nach jeder Sitzung "weggeworfen"