NeurIPS 2025: Jeff Dean, Yejin Choi, y el Estado de la Investigación de IA

Qué Revela NeurIPS 2025 Sobre las Direcciones de Investigación en IA

Este video captura el pulso de la investigación de IA de frontera a través de entrevistas sinceras en NeurIPS 2025. Las conversaciones revelan un campo lidiando con preguntas fundamentales sobre qué pueden y qué no pueden lograr los enfoques actuales.

Jeff Dean discute la TPU de 7ma generación de Google "Ironwood" y el ejercicio desafiante de predecir las necesidades de computación de ML de 2.5 a 6 años en el futuro para el diseño de hardware. Más interesante es su apoyo a la financiación de investigación académica - él y sus colegas recientemente publicaron un paper trazando cómo Google fue construido sobre investigación académica (TCP/IP, el Stanford Digital Library Project que financió PageRank, redes neuronales de hace 30-40 años). Su propuesta: moonshots de investigación de 3-5 años con equipos mixtos son el punto dulce para metas ambiciosas pero alcanzables.

Yejin Choi entrega la perspectiva más provocativa: a pesar de la emoción alrededor del reinforcement learning, todo se reduce a los datos. El RL no es exploración mágica - es "sintetizar incluso más datos porque esa cantidad de datos todavía no es suficiente." Su preocupación es que todos los enfoques actuales están interpolando dentro del "vecindario de los datos de internet" - el artefacto del conocimiento humano - que no es lo mismo que descubrir nuevas verdades como cómo curar el cáncer. Ella aboga por el "razonamiento abductivo" (formar hipótesis de observaciones parciales, como Sherlock Holmes) en lugar de solo razonamiento inductivo y deductivo, que ella llama "regurgitación de información que ya tenías."

La entrevista de Robert Nishihara añade contexto histórico - NeurIPS pasó de 400 personas que programaban talleres alrededor de descansos de esquí a 30,000 asistentes. Su insight sobre subinversión: la mayoría de la investigación se enfoca en meter conocimiento en los pesos del modelo, pero "hay un montón que se puede hacer" con enfoques basados en contexto. Él visualiza avances en aprendizaje continuo ocurriendo sin cambiar los pesos del modelo en absoluto.

4 Ideas de Jeff Dean, Yejin Choi, y Robert Nishihara

• El ejercicio de pronóstico de Jeff Dean para diseño de TPU: predecir qué computaciones de ML necesitará el campo en 2.5-6 años, luego construir características de hardware para cosas que "podrían ser importantes" aunque sean inciertas
• Yejin Choi argumenta que el RL para razonamiento no es fundamentalmente diferente del fine-tuning supervisado - ambos son estrategias de síntesis de datos, y con suficiente esfuerzo SFT (como OpenThought) puede superar enfoques de RL
• El "razonamiento abductivo" - formar hipótesis de observaciones parciales - es lo que los científicos y detectives realmente hacen, distinto de la inducción/deducción que Choi llama "parafrasear lo que ya estaba en tu conocimiento"
• Robert Nishihara predice avances en aprendizaje continuo vía gestión de contexto en lugar de actualizaciones de pesos - el razonamiento de hoy se "descarta" después de cada sesión