Andrej Karpathy

Über Andrej Karpathy

Andrej Karpathy ist einer der angesehensten KI-Forscher und Pädagogen. Er war Gründungsmitglied von OpenAI, leitete dann Teslas Autopilot-Vision-Team und wurde berühmt dafür, Deep Learning durch YouTube-Videos und Open-Source-Projekte zugänglich zu machen.

Karriere-Höhepunkte

• Eureka Labs (2024-heute): Gründer, KI-Bildungs-Startup
• Tesla (2017-2022): Director of AI, leitete Autopilot Computer Vision
• OpenAI (2015-2017): Gründungsmitglied und Forschungswissenschaftler
• Stanford PhD: Studierte unter Fei-Fei Li über Bildbeschriftung
• nanoGPT: Erstellte minimale GPT-Implementierung für Bildungszwecke

Bemerkenswerte Positionen

Über LLMs als “Geister”

Karpathys provokanteste Formulierung:

“LLMs are ‘ethereal spirit entities’ - fully digital, mimicking humans, starting from a completely different point in the space of possible intelligences. We’re building ghosts, not animals.”

Deutsche Übersetzung: “LLMs sind ‘ätherische Geistwesen’ - vollständig digital, Menschen nachahmend, von einem völlig anderen Punkt im Raum möglicher Intelligenzen ausgehend. Wir bauen Geister, keine Tiere.”

Tiere entwickelten sich mit fest verdrahteter Hardware. Ein Zebra rennt Minuten nach der Geburt. LLMs entstanden aus der Nachahmung von Text - ein grundlegend anderer Optimierungsprozess.

Über Agenten-Zeitpläne

Ein Realitätscheck zum Hype:

“Decade of agents, not year of agents. When would you actually hire Claude as an intern? You wouldn’t today because it just doesn’t work reliably enough.”

Deutsche Übersetzung: “Dekade der Agenten, nicht Jahr der Agenten. Wann würdest du Claude tatsächlich als Praktikanten einstellen? Heute nicht, weil es einfach nicht zuverlässig genug funktioniert.”

Über Kontext vs. Gewichte

Technische Einsicht darüber, wie LLMs funktionieren:

“The KV cache stores 320 KB per token vs 0.7 bits in weights - a 35 million fold difference. Anything in context is working memory; anything in weights is hazy recollection.”

Deutsche Übersetzung: “Der KV-Cache speichert 320 KB pro Token vs. 0,7 Bits in Gewichten - ein 35-Millionen-facher Unterschied. Alles im Kontext ist Arbeitsgedächtnis; alles in Gewichten ist verschwommene Erinnerung.”

Wichtige Zitate

• “Wir bauen Geister, keine Tiere.”
• “Dekade der Agenten, nicht Jahr der Agenten.”
• “Pre-Training ist beschissene Evolution.”

Weiterführende Literatur

• Scaling Laws - Das Paradigma, das Karpathy mitgestaltet hat
• Pre-training - Was Karpathy “beschissene Evolution” nennt