Stanfordský výskum: Prečo môže byť vaša AI ROI v kódovaní vlastne negatívna

Perspektíva

Toto je najdôkladnejší výskum, aký som videl o ROI nástrojov AI pre kódovanie - dvojročná údaje z analýzy časových radov od Stanfordu, využívajúca model strojového učenia natrénovaný na miliónoch expertných hodnotení kódu. Zistenia by mali každého vedúceho inžinierskeho tímu znepokojovať.

Priepasť medzi víťazmi a porazenými v AI sa zväčšuje. Porovnaním 46 tímov používajúcich AI s 46 podobnými tímami bez AI je medián zisku produktivity okolo 10%. Ale rozptyl je pozoruhodný - a s časom sa zväčšuje. Špičkoví výkonní zlepšujú zisky, zatiaľ čo zaostávajúce tímy padajú ďalej za. Ak nemerate, v ktorej kohorte ste, letiete zaviazanýma očami.

**Využívanie tokenov slabo koreluje so ziskami - a existuje “Údolí smrti”.” Tímy, ktoré minuli okolo 10 miliónov tokenov na inžiniera za mesiac, skutočne dosahli horšie výsledky ako tímy s nižším využívaním. Kvalita využívania AI je dôležitejšia ako kvantita. Skutočný prediktor? Čistota kódovej základne. Kombinované skóre testov, typov, dokumentácie a modularnosti ukázalo koreláciu R² 0,40 s nárástom produktivity AI.

Prípadová štúdia je zničujúca. Tím s 350 ľuďmi prijal AI a videl nárast PR o 14%. Vedenie by to oslávilo. Ale hlbšie merania ukázali: kvalita kódu poklesla o 9%, opakovanie práce sa zvýšilo 2,5-násobne a efektívny výstup sa vôbec nezvýšil. ROI by mohol byť negatívny - ale bez správneho meraní by spoločnosť tvrdila, že dosiahla úspory v miliónoch.

AI bez hygieny urýchľuje entropiu. Čisté kódové základne zosilňujú zisky AI; zašpinené kódové základne vytvárajú smrť špirálou. AI generuje kód rýchlejšie, inžinieri stratia dôveru, keď výstupy vyžadujú veľké prepísanie, adopcia sa zrúti. Rámec je dôležitý: primárna metrika (inžiniersky výstup, nie PR alebo LoC) plus zábrany (opakovanie, kvalita, technický dlh, metriky ľudí).

Kľúčové poznatky

• Medián zisku produktivity AI: ~10% - Ale rozptyl je obrovský a rastie medzi top a bottom performermi
• Využívanie tokenov nepredpovedá zisky - Kvalita použitia je dôležitejšia; existuje “Údolí smrti” okolo 10M tokenov/mesiac
• Čistota kódovej základne je kľúčovým prediktorom - 0,40 R² korelácia medzi hygienou kódu a nárástom produktivity AI
• Počty PR sú zavádzajúce - Jeden tím ukázal 14% nárast PR, ale 9% pokles kvality a 2,5-násobok zvýšenia opakovanej práce
• Prístup ≠ adopcia ≠ efektívne využívanie - Rovnaké nástroje, rovnaké licencie môžu produkovať úplne rôzne výsledky v jednotlivých obchodných jednotkách
• AI urýchľuje entropiu bez disciplíny - Čistý kód zosilňuje zisky; zašpinený kód vytvára špirály spochybňujúce dôveru
• Meranie spätne s git históriou - Nemusíte nastavovať experimenty; analyzujte, čo sa už stalo
• Metriky zábran sú dôležité - Primárna metrika (výstup) + zábrany (opakovanie, kvalita, technický dlh) brania Goodhartovu zákonu

Veľký obraz

Dvojročný Stanfordský výskum ukazuje, že ROI AI kódovaniu by mohla byť negatívna pre niektoré tímy - 14% viac PR, ale 9% pokles kvality a 2,5-násobok zvýšenia opakovanej práce. Najväčší prediktor AI zisku nie je využívanie tokenov, ale čistota kódovej základne. Čistý kód zosilňuje AI; zašpinený kód vytváraSpirála spochybňujúca dôveru.