NeurIPS 2025：Jeff Dean、Yejin Choi和AI研究现状

NeurIPS 2025揭示了AI研究方向什么

这段视频通过NeurIPS 2025的坦诚访谈捕捉了前沿AI研究的脉搏。对话揭示了一个正在努力解决关于当前方法能做什么和不能做什么的根本问题的领域。

Jeff Dean讨论了Google的第七代TPU"Ironwood"，以及为硬件设计预测2.5到6年后ML计算需求的挑战性练习。更有趣的是他对学术研究资助的倡导——他和同事最近发表了一篇论文，追溯Google是如何建立在学术研究之上的（TCP/IP、资助PageRank的斯坦福数字图书馆项目、30-40年前的神经网络）。他的建议：3-5年的研究登月计划，混合团队，是雄心勃勃但可实现目标的最佳点。

Yejin Choi提供了最具挑战性的观点：尽管围绕强化学习有很多兴奋，但一切都归结于数据。强化学习不是神奇的探索——它是"合成更多数据，因为那么多数据仍然不够好"。她担心所有当前方法都在"互联网数据的邻域"内插值——人类知识的产物——这与发现新真理（如如何治愈癌症）不同。她倡导"溯因推理"（从部分观察形成假设，像夏洛克·福尔摩斯一样）而不仅仅是归纳和演绎推理，她称后者为"你已有信息的复述"。

Robert Nishihara的访谈增加了历史背景——NeurIPS从400人围绕滑雪休息安排研讨会到30,000名与会者。他对投资不足的洞见：大多数研究集中在将知识放入模型权重中，但在基于上下文的方法上"有很多可以做的"。他设想持续学习突破在根本不改变模型权重的情况下发生。

来自Jeff Dean、Yejin Choi和Robert Nishihara的4个洞见

• Jeff Dean为TPU设计的预测练习：预测2.5-6年后该领域需要什么ML计算，然后为"可能重要"的事情构建硬件特性，即使不确定
• Yejin Choi认为用于推理的强化学习与监督微调没有根本区别——两者都是数据合成策略，用足够的努力SFT（如OpenThought）可以击败RL方法
• "溯因推理"——从部分观察形成假设——是科学家和侦探实际做的事情，不同于归纳/演绎，Choi称后者为"复述你知识中已有的东西"
• Robert Nishihara预测通过上下文管理而不是权重更新实现持续学习的突破——今天的推理在每次会话后被"丢弃"