扩展时代的终结

转变

在经历了五年的”扩展就是一切”(2020-2025)之后,领先的AI研究人员正在发出一个根本性转变的信号:纯粹的扩展正在遭遇收益递减。下一个突破将需要真正的研究创新,而不仅仅是更多的计算。

关键信号

Ilya Sutskever的框架

前OpenAI首席科学家将AI历史框架为振荡的时代:

• 2012-2020: 研究时代(深度学习突破)
• 2020-2025: 扩展时代(越大越好)
• 2025+: 回归研究(需要新范式)

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.” “信念真的是如果你只是将规模扩大100倍,一切都会改变吗?我不认为这是真的。“

Demis Hassabis的公式

Google DeepMind的CEO描述了他们当前的方法:

“We operate on 50% scaling, 50% innovation. Both are required for AGI.” “我们以50%的扩展、50%的创新运作。两者都是实现AGI所必需的。”

他指出:“指数级和渐进之间有很大的空间”——改进仍在继续,但不是以扩展时代的速度。

为什么是现在?

预训练数据是有限的

互联网只包含如此多的高质量文本。模型已经训练了大部分内容。更多数据需要合成生成或新的模态。

计算成本巨大

训练运行成本超过1亿美元。在没有保证回报的情况下,“只是扩展更多”的经济学变得令人望而却步。

基准饱和

模型在现有基准上达到了上限,但在应该很容易的任务上仍然失败(“锯齿智能”问题)。

改变了什么

对于AI实验室

• 研究招聘增加 - 需要新颖的算法,而不仅仅是工程
• 架构实验 - Transformers可能不是终点
• 多模态和具身AI - 仅靠文本可能无法实现AGI

对于行业

• 小型参与者可以竞争 - 创新比规模更重要
• 超越规模的差异化 - 模型在专业化上竞争,而不仅仅是参数
• 专注于应用 - 随着模型达到平台期,产品变得更重要

开放的问题

这是暂时的平台期(如2016-2019年GPT-3之前)还是当前方法的根本限制?答案将决定AGI是来自扩展、创新还是两者兼而有之。

相关阅读

• 扩展法则 - 正在被质疑的范式
• 应用优于训练 - 战略响应
• 锯齿智能 - 为什么仅靠扩展是不够的