Andrej Karpathy

O Andrejovi Karpathym

Andrej Karpathy je jeden z najrešpektovanejších výskumníkov a vzdelávateľov v oblasti AI. Bol zakladajúcim členom OpenAI, potom viedol tím vízií Autopilotu Tesla a stal sa slávnym tým, že robí hlboké učenie prístupným prostredníctvom YouTube videí a open-source projektov.

Kariérne úspechy

• Eureka Labs (2024-súčasnosť): Zakladateľ, AI vzdelávací startup
• Tesla (2017-2022): Riaditeľ AI, viedol počítačové videnie Autopilotu
• OpenAI (2015-2017): Zakladajúci člen a výskumný vedec
• PhD na Stanforde: Študoval pod Fei-Fei Li o generovaní popisov obrázkov
• nanoGPT: Vytvoril minimálnu GPT implementáciu pre vzdelávanie

Významné pozície

O LLM ako “duchoch”

Karpathyho najprovokujúcejšie rámcovanie:

“LLMs are ‘ethereal spirit entities’ - fully digital, mimicking humans, starting from a completely different point in the space of possible intelligences. We’re building ghosts, not animals.”

LLM sú ‘éterické duchovné entity’ - plne digitálne, napodobňujúce ľudí, začínajúce z úplne iného bodu v priestore možných inteligencií. Budujeme duchov, nie zvieratá.

Zvieratá sa vyvinuli s pevne zakódovaným hardvérom. Zebra beží minúty po narodení. LLM vznikli z napodobňovania textu - zásadne odlišný optimalizačný proces.

O časových osiach agentov

Kontrola skutočnosti nad hype:

“Decade of agents, not year of agents. When would you actually hire Claude as an intern? You wouldn’t today because it just doesn’t work reliably enough.”

Dekáda agentov, nie rok agentov. Kedy by ste skutočne zamestnali Claude ako stážistu? Dnes by ste to neurobili, pretože to jednoducho nefunguje dostatočne spoľahlivo.

O kontexte vs váhach

Technický prehľad o tom, ako LLM fungujú:

“The KV cache stores 320 KB per token vs 0.7 bits in weights - a 35 million fold difference. Anything in context is working memory; anything in weights is hazy recollection.”

KV cache ukladá 320 KB na token vs 0.7 bitov vo váhach - 35 miliónový rozdiel. Čokoľvek v kontexte je pracovná pamäť; čokoľvek vo váhach je hmlistá spomienka.

Kľúčové citáty

• “Budujeme duchov, nie zvieratá.”
• “Dekáda agentov, nie rok agentov.”
• “Pred-tréning je kiepska evolúcia.”

Súvisiace čítanie

• Scaling Laws - Paradigma, ktorú Karpathy pomohol etablovať
• Pre-training - Čo Karpathy volá “kiepska evolúcia”