斯坦福研究：你的AI编码ROI可能实际上是负的

观点

这是我见过的关于AI编码工具ROI最严格的研究——来自斯坦福的两年跨截面时间序列数据，使用在数百万专家代码评估上训练的机器学习模型。研究结果应该让每位工程领导感到不安。

AI赢家和输家之间的差距正在扩大。 将46个使用AI的团队与46个相似的不使用AI的团队进行匹配，中位数生产力提升约为10%。但差异很大——而且随时间增加而加剧。表现最好的团队在复利增长，而表现落后的团队差距越来越大。如果你没有测量自己属于哪个队伍，你就是在盲飞。

Token使用与收益的相关性较松散——存在”死亡谷”。 每位工程师每月花费约1000万个token的团队实际上表现得比使用token较少的团队还要差。AI使用的质量比数量更重要。真正的预测指标是什么？代码库的清洁度。由测试、类型、文档和模块化组成的综合评分与AI生产力收益显示出0.40的R²相关性。

案例研究令人震惊。 一个350人的团队采用了AI，看到PR增加了14%。领导层本会庆祝。但更深入的测量显示：代码质量下降了9%，返工增加了2.5倍，有效输出根本没有增加。ROI可能是负的——但在没有适当测量的情况下，公司本会声称节省了数百万。

没有卫生检查的AI会加速熵增。 干净的代码库可以放大AI的收益；混乱的代码库会产生死亡螺旋。AI生成代码更快，当输出需要大量重写时，工程师失去信任，采用率下降。框架问题：主要指标（工程输出，而非PR或代码行数）加上防护栏（返工、质量、技术债、人员指标）。

主要要点

• 中位数AI生产力提升：约10% —— 但差异很大，顶级和底部表现者之间的差距正在扩大
• Token使用不能预测收益 —— 使用质量更重要；在1000万token/月左右存在”死亡谷”
• 代码库清洁度是关键预测指标 —— 代码卫生与AI生产力收益之间有0.40的R²相关性
• PR数量具有误导性 —— 一个团队显示PR增加14%，但质量下降9%，返工增加2.5倍
• 获取≠采用≠有效使用 —— 相同的工具、相同的许可证在不同的业务部门可能产生完全不同的结果
• 没有纪律，AI会加速熵增 —— 干净的代码放大收益；混乱的代码产生侵蚀信任的死亡螺旋
• 使用git历史事后测量 —— 你不需要建立实验；分析已经发生的事情
• 防护栏指标很重要 —— 主要指标（输出）+防护栏（返工、质量、技术债）防止古德哈特定律

大图景

两年的斯坦福研究表明，对某些团队来说，AI编码的ROI可能是负的——增加了14%的PR，但质量下降9%，返工增加2.5倍。AI收益的最大预测指标不是token使用，而是代码库清洁度。干净的代码放大AI的作用；混乱的代码会产生侵蚀信任的死亡螺旋。