Andrej Karpathy: Budujeme duchy, ne zvířata

Perspektiva

Toto je Andrej Karpathy v nejfilosofičtějším smyslu - ne vyučující neuronové sítě, ale zápolící s tím, co vlastně budujeme. Rámec "duchy, ne zvířata" je provokativní a důležitý.

Klíčový vhled: LLM vznikly ze zcela jiného optimalizačního procesu než biologická inteligence. Zvířata jsou vyvinuta - přicházejí s obrovským množstvím hardcoded hardwaru. Zebra běží minuty po narození. To není reinforcement learning, to je miliony let evoluce kódující váhy do DNA prostřednictvím mechanismu, kterému nerozumíme. LLM jsou naproti tomu trénované napodobováním internetových dokumentů. Jsou to "ethereální duhovní entity" - zcela digitální, napodobující lidi, začínající z úplně jiného bodu v prostoru možných inteligencí.

"Desetiletí agentů, ne rok agentů" je Karpathy, který se postavil proti hype v laboratořích. V AI je už 15 let, sledoval, jak se předpovědi opakovaně nedařily, a kalibroval intuici. Problémy jsou řešitelné, ale obtížné. Kdy byste vlastně najali Claude jako stážistu? Dnes byste ho najímali ne, protože to prostě není dostatečně spolehlivé. Zavření mezery bude trvat desetiletí.

Pre-training jako "chybná evoluce" je užitečným mentálním modelem. Evoluce dává zvířatům výchozí bod s vestavěnými algoritmy a reprezentacemi. Pre-training dělá něco podobného, ale prostřednictvím prakticky dosažitelného procesu - doplňování vzorů na internetových dokumentech. Zajímavá nuance: pre-training dělá dvě věci současně: (1) přebírá znalosti a (2) spouští inteligentní obvody pozorováním algoritmických vzorů. Karpathy si myslí, že část znalostí by ve skutečnosti mohla modely zpomalovat - заставляет je spoléhat příliš na memorování spíše než na úvahy.

Rozdíl v kompresi vysvětluje spoustu věcí. Llama 3 ukládá asi 0,7 bitů na token ze své trénovací sady 15 bilionů tokenů. KV cache během inference ukládá 320 kilobajtů na token - rozdíl 35 milionů násobků. Cokoli v hmotnostech je "nejasná vzpomínka." Cokoli v kontextu je pracovní paměť, přímo dostupná. To vysvětluje, proč se učení v kontextu cítí inteligentněji než to, co je zapečeno v hmotnostech.

Klíčové poznatky

• "Duchy, ne zvířata" - LLM jsou digitální entity napodobující lidi, ne vyvinuté inteligence s hardcoded hardwarem
• Desetiletí agentů, ne rok - Současní agenti jsou imponující, ale po stránce kognitivní vybavenosti zaostávají; spolehliví "AI zaměstnanci" jsou 10 let vzdáleni
• Pre-training je chybná evoluce - Prakticky dosažitelný způsob, jak získat počáteční reprezentace, ale velmi odlišný od biologické optimalizace
• Znalosti mohou škodit - Modely, které se méně spoléhají na zapamatované znalosti a více na uvažování, mohou být lepší při nových problémech
• Pracovní paměť vs nejasné vzpomínky - KV cache (kontext) je 35 milionů krát hustší informacemi než hmotnosti na token
• Učení v kontextu může provádět interní gradient descent - Některé články naznačují, že vrstvy pozornosti implementují něco jako optimalizaci
• Chybějící části mozku - Transformer ≈ kůra mozkových hemisfér, stopy uvažování ≈ předčeolní kůra, ale mnoho struktur zůstává neprozkoumaných
• Rané pokusy s agenty byly předčasné - Projekt Universe (2016) selhal, protože modelům chyběla reprezentační kapacita; museli jsme nejdříve dostat LLM

Větší obrázek

Nebudujeme umělé lidi - budujeme něco úplně nového. LLM jsou "duchové", kteří vznikli napodobováním textu, ne "zvířata" utvářená evolucí. Pochopení tohoto rozdílu je nezbytné pro vytváření systémů, které se doplňují spíše než špatně napodobují lidskou inteligenci.