关于 Jeff Dean
Jeff Dean 是 Google DeepMind 和 Google Research 的首席科学家,常被称为”计算机科学的 Chuck Norris”,因为他对系统和 AI 的传奇贡献。他在设计谷歌的许多基础系统方面发挥了关键作用,并且是 Gemini 项目的联合负责人。
职业亮点
- 谷歌(1999 年至今):构建基础系统,包括 MapReduce、BigTable、Spanner 和 TensorFlow
- TPU 开发:领导谷歌张量处理单元的开发
- Gemini:谷歌旗舰 AI 模型的联合负责人
- 学术贡献:合著了关于分布式系统和机器学习的有影响力的论文
技术贡献
TPU 开发
Dean 监督谷歌的 TPU 开发,现在是第七代(“Ironwood”):
“Every generation of TPU we really try to take advantage of the co-design opportunities we have with having a lot of researchers thinking about where ML computations we’re going to want to run 2.5 to 6 years from now.”
“每一代 TPU 我们都真正尝试利用协同设计机会,有很多研究人员思考我们将在 2.5 到 6 年后想要运行的 ML 计算。”
这涉及一个迷人的预测练习——预测 ML 的未来以提前几年设计硬件。
塑造行业的系统
Dean 在谷歌的系统工作为整个行业创建了模板:
- MapReduce - 启发了 Hadoop 和现代数据处理
- BigTable - NoSQL 数据库的模板
- Spanner - 全球分布式数据库
- TensorFlow - 开源 ML 框架
重要观点
关于学术研究资助
Dean 是公共资助学术研究的强烈倡导者:
“I feel like it’s really important to have a vibrant academic research ecosystem in the US and also in the world because those early stage creative ideas are often the things that lead to major breakthroughs and innovations.”
“我认为在美国和世界上拥有一个充满活力的学术研究生态系统非常重要,因为那些早期阶段的创造性想法往往是导致重大突破和创新的东西。”
他指出,深度学习革命建立在 30-40 年前的学术研究之上,谷歌本身建立在学术工作之上,包括 TCP/IP 和资助 PageRank 的斯坦福数字图书馆项目。
关于研究登月计划
Dean 倡导混合团队的 3-5 年研究登月计划:
“I really like the 3 to 5 year time horizon kind of thing with an ambitious set of people around a particular thing they’re trying to achieve because it’s not so distant that it won’t have impact, but it’s not so short that you can’t conceive of doing something ambitious.”
“我真的很喜欢 3 到 5 年时间范围的事情,一群雄心勃勃的人围绕着他们试图实现的特定事物,因为它不是那么遥远以至于不会产生影响,但也不是那么短以至于你无法构想做一些雄心勃勃的事情。“
关键语录
- “试图预测一个快速发展的领域不是一件容易的事。”
- “对社会的回报是相当大的”(关于学术研究资助)
- “3 到 5 年是一个令人愉快的时间范围”(关于研究规划)
相关阅读
Video Mentions
早期扩展工作
我在 1990 年的本科论文中构建了数据并行和模型并行。我犯了一个巨大的错误——我没有随着添加处理器而增加模型大小。
非正式扩展定律
我们在 Google Brain 有一个很好的说法:更大的模型、更多的数据、更多的计算。我们没有将其形式化为扩展定律,但我们知道。
计算倍增
像 transformers 和稀疏模型这样的算法改进与硬件相乘。我们现在进行的计算是 10 年前的数十亿倍。
Google TPU Ironwood 公告
这是 Ironwood,第七代 TPU。它有相当多的新能力,连接成非常大的配置,我们称之为 pods——每个 pod 9216 个芯片。
硬件软件协同设计
每一代 TPU 我们都真正尝试利用协同设计机会...有很多研究人员思考我们将在 2.5 到 6 年后想要运行的 ML 计算。
倡导学术研究资助
我认为拥有一个充满活力的学术研究生态系统非常重要,因为那些早期阶段的创造性想法往往是导致重大突破的东西。