NeurIPS 2025 : Jeff Dean, Yejin Choi et l'etat de la recherche IA

Ce que NeurIPS 2025 revele sur les directions de recherche IA

Cette video capture le pouls de la recherche IA de pointe a travers des interviews candides a NeurIPS 2025. Les conversations revelent un domaine aux prises avec des questions fondamentales sur ce que les approches actuelles peuvent et ne peuvent pas accomplir.

Jeff Dean discute du TPU 7eme generation de Google "Ironwood" et de l'exercice difficile de predire les besoins de calcul ML 2,5 a 6 ans a l'avance pour la conception materielle. Plus interessant est son plaidoyer pour le financement de la recherche academique - lui et ses collegues ont recemment publie un article tracant comment Google a ete construit sur la recherche academique (TCP/IP, le Stanford Digital Library Project qui a finance PageRank, les reseaux neuronaux d'il y a 30-40 ans). Son pitch : les moonshots de recherche de 3-5 ans avec des equipes mixtes sont le sweet spot pour des objectifs ambitieux mais realisables.

Yejin Choi livre la prise la plus provocatrice : malgre l'excitation autour de l'apprentissage par renforcement, tout revient aux donnees. Le RL n'est pas de l'exploration magique - c'est "synthetiser encore plus de donnees parce que tant de donnees ne sont toujours pas suffisantes". Son inquietude est que toutes les approches actuelles interpolent dans "le voisinage des donnees internet" - l'artefact de la connaissance humaine - ce qui n'est pas la meme chose que decouvrir de nouvelles verites comme comment guerir le cancer. Elle plaide pour le "raisonnement abductif" (former des hypotheses a partir d'observations partielles, comme Sherlock Holmes) plutot que juste le raisonnement inductif et deductif, qu'elle appelle "regurgitation d'information que vous aviez deja".

L'interview de Robert Nishihara ajoute du contexte historique - NeurIPS est passe de 400 personnes qui programmaient les workshops autour des pauses ski a 30 000 participants. Son insight sur le sous-investissement : la plupart de la recherche se concentre sur mettre la connaissance dans les poids du modele, mais "il y a une tonne qui peut etre fait" avec des approches basees sur le contexte. Il envisage des percees d'apprentissage continu se produisant sans changer les poids du modele du tout.

4 enseignements de Jeff Dean, Yejin Choi et Robert Nishihara

• L'exercice de prevision de Jeff Dean pour la conception TPU : predire quels calculs ML le domaine aura besoin dans 2,5-6 ans, puis construire des fonctionnalites materielles pour des choses qui "pourraient etre importantes" meme si incertaines
• Yejin Choi argumente que le RL pour le raisonnement n'est pas fondamentalement different du fine-tuning supervise - les deux sont des strategies de synthese de donnees, et avec assez d'efforts le SFT (comme OpenThought) peut battre les approches RL
• Le "raisonnement abductif" - former des hypotheses a partir d'observations partielles - est ce que les scientifiques et detectives font vraiment, distinct de l'induction/deduction que Choi appelle "paraphraser ce qui etait deja dans votre connaissance"
• Robert Nishihara predit des percees en apprentissage continu via la gestion de contexte plutot que les mises a jour de poids - le raisonnement d'aujourd'hui est "jete" apres chaque session