Andrej Karpathy：我们在构建幽灵，而非动物

观点分析

这是Andrej Karpathy最具哲学性的一面 - 不是在教授神经网络，而是在思考我们究竟在构建什么。“幽灵而非动物”的框架既富有挑战性又很重要。

核心洞察：大语言模型源于与生物智能完全不同的优化过程。 动物是进化产生的 - 它们带有大量硬编码的硬件。斑马出生几分钟后就能奔跑。这不是强化学习，而是数百万年的进化将权重通过某种我们不理解的机制编码进DNA。相比之下，大语言模型是通过模仿互联网文档进行训练的。它们是”缥缈的精神实体” - 完全数字化的，模仿人类，从可能智能空间中的一个完全不同的起点开始。

“代理的十年，而非一年” 是Karpathy对实验室炒作的反驳。他在AI领域工作了15年，见证了无数预测的失败，因此拥有了校准过的直觉。这些问题是可解决的但很困难。你什么时候会实际雇用Claude作为实习生？今天不会，因为它还不够可靠。关闭这个差距需要十年时间。

预训练作为”蹩脚的进化” 是一个有用的心智模型。进化为动物提供了一个起点，带有内置的算法和表示。预训练通过一个实际可行的过程做类似的事情 - 在互联网文档上进行模式补全。有趣的细节是：预训练同时做两件事：(1) 获取知识，(2) 通过观察算法模式来启动智能电路。Karpathy认为知识部分可能实际上在阻碍模型 - 使它们过度依赖于记忆而不是推理。

压缩差异解释了很多事情。 Llama 3从其15万亿token的训练集中每token存储大约0.7比特。推理过程中的KV缓存每token存储320KB - 相差3500万倍。权重中的任何东西都是”模糊的回忆”。上下文中的任何东西都是工作记忆，可直接访问。这解释了为什么上下文内学习比嵌入权重中的内容看起来更聪明。

关键要点

• “幽灵而非动物” - 大语言模型是数字实体，模仿人类，而非具有硬编码硬件的进化智能
• 代理的十年，而非一年 - 当前的代理令人印象深刻但认知能力不足；可靠的”AI员工”还需要10年
• 预训练是蹩脚的进化 - 获取起始表示的实际可行方式，但与生物优化过程大不相同
• 知识可能有害 - 较少依赖记忆知识、更多依赖推理的模型在新问题上可能表现更好
• 工作记忆与模糊回忆 - KV缓存（上下文）每token的信息密度比权重高3500万倍
• 上下文内学习可能运行内部梯度下降 - 一些论文表明注意力层实现了类似优化的东西
• 缺少脑部部分 - Transformer ≈ 皮质组织，推理迹象 ≈ 前额叶皮层，但许多结构仍未被探索
• 早期代理尝试为时过早 - Universe项目（2016）失败是因为模型缺乏表示能力；必须先拥有大语言模型

全景视图

我们不是在构建人工人类 - 我们在构建全新的东西。大语言模型是从文本模仿中产生的”幽灵”，而非由进化塑造的”动物”。理解这一区别对于构建能够补充而非拙劣模仿人类智能的系统至关重要。