Geoffrey Hinton
Professor Emeritus at University of Toronto
'AI 教父'。图灵奖和诺贝尔奖获得者。发明反向传播,共同创建 AlexNet。现在警告 AI 风险。
关于 Geoffrey Hinton
Geoffrey Hinton 因其对深度学习的基础性贡献而被广泛称为”AI 教父”。他获得了 2024 年诺贝尔物理学奖和 2018 年图灵奖。2023 年,他离开谷歌,以便自由地谈论 AI 风险。
职业亮点
- 多伦多大学(1987 年至今):计算机科学荣休教授
- 谷歌(2013-2023):副总裁兼工程研究员,离开以警告 AI 风险
- 诺贝尔物理学奖(2024):因在机器学习方面的基础性发现
- 图灵奖(2018):与 Yann LeCun 和 Yoshua Bengio 共同获得
- 反向传播:共同开发了实现深度学习的算法
- AlexNet(2012):与 Ilya Sutskever 和 Alex Krizhevsky 共同创建
重要观点
关于理解
Hinton 的乐高积木类比解释了 LLM 如何理解:
“Think of words as thousand-dimensional Lego blocks. Words have ‘hands’ that want to shake hands with other words. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.”
“把单词想象成千维乐高积木。单词有想要与其他单词握手的’手’。理解就是变形这些积木,使它们的手可以连接——那个结构就是理解。“
关于 Chomsky
“I think Chomsky is sort of a cult leader. Language not being learned is manifest nonsense.”
“我认为 Chomsky 有点像邪教领袖。语言不是学习的是明显的废话。“
关于数字智能
“If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.”
“如果能源便宜,数字计算就更好,因为它可以有效地共享知识。GPT-4 知道的东西是任何人的数千倍。“
关于幻觉
“Hallucinations should be called confabulations - we do them too. We don’t store files and retrieve them; we construct memories when we need them.”
“幻觉应该被称为虚构——我们也这样做。我们不存储文件并检索它们;我们在需要时构建记忆。“
关键语录
- “那个结构就是理解。”
- “GPT-4 知道的东西是任何人的数千倍。”
- “LLM 的理解方式与我们相同。“
相关阅读
Video Mentions
AlexNet 起源故事
AlexNet 在 Alex 父母家他卧室里的两个 GPU 上训练。我们支付了 GPU 费用,他的父母支付了电费。
扩展洞察
直到 2014 年我才真正完全理解[更大的模型效果更好]这个教训。我们应该在 80 年代末就意识到。不这样做很愚蠢,但我们没有。
DNN Research 收购
当拍卖结束时,错误的人可能会赢,我们就停止了拍卖。
理解作为结构形成
把单词想象成千维乐高积木。理解就是变形这些积木,使它们的手可以连接——那个结构就是理解。
对 Chomsky 的批评
Chomsky 有点像邪教领袖。语言不是学习的是明显的废话——如果你能让人们同意明显的废话,你就抓住他们了。
数字与生物智能
如果能源便宜,数字计算就更好,因为它可以有效地共享知识。GPT-4 知道的东西是任何人的数千倍。