Andrej Karpathy

关于 Andrej Karpathy

Andrej Karpathy 是 AI 领域最受尊敬的研究者和教育者之一。他是 OpenAI 的创始成员,然后领导了特斯拉的 Autopilot 视觉团队,并通过 YouTube 视频和开源项目让深度学习变得易于理解而闻名。

职业亮点

• Eureka Labs(2024 年至今):创始人,AI 教育初创公司
• 特斯拉(2017-2022):AI 总监,领导 Autopilot 计算机视觉
• OpenAI(2015-2017):创始成员和研究科学家
• 斯坦福博士:师从李飞飞,研究图像字幕
• nanoGPT:创建用于教育的最小 GPT 实现

重要观点

关于 LLM 作为”幽灵”

Karpathy 最具挑衅性的框架:

“LLMs are ‘ethereal spirit entities’ - fully digital, mimicking humans, starting from a completely different point in the space of possible intelligences. We’re building ghosts, not animals.”

“LLM 是’虚无缥缈的精神实体’——完全数字化,模仿人类,从可能智能空间中完全不同的起点开始。我们在构建幽灵,而不是动物。”

动物是通过硬编码的硬件进化而来的。斑马出生后几分钟就能奔跑。LLM 是从模仿文本中出现的——这是一个根本不同的优化过程。

关于 Agent 时间线

对炒作的现实检验:

“Decade of agents, not year of agents. When would you actually hire Claude as an intern? You wouldn’t today because it just doesn’t work reliably enough.”

“Agent 的十年,而不是一年。你什么时候会真正雇用 Claude 作为实习生?今天你不会,因为它还不够可靠。“

关于上下文与权重

关于 LLM 工作原理的技术洞察:

“The KV cache stores 320 KB per token vs 0.7 bits in weights - a 35 million fold difference. Anything in context is working memory; anything in weights is hazy recollection.”

“KV 缓存每个 token 存储 320 KB,而权重中只有 0.7 比特——相差 3500 万倍。上下文中的任何东西都是工作记忆;权重中的任何东西都是模糊的回忆。“

关键语录

• “我们在构建幽灵,而不是动物。”
• “Agent 的十年,而不是一年。”
• “预训练是糟糕的进化。“

相关阅读

• 扩展定律 - Karpathy 帮助建立的范式
• 预训练 - Karpathy 所说的”糟糕的进化”