Andrej Karpathy: Wir bauen Geister, keine Tiere

Perspektive

Das ist Andrej Karpathy auf seinem philosophischsten Level - nicht beim Unterrichten von neuronalen Netzwerken, sondern beim Ringen mit der Frage, was wir eigentlich bauen. Die Formulierung “Geister, keine Tiere” ist provokant und wichtig.

Die zentrale Einsicht: LLMs sind aus einem grundlegend anderen Optimierungsprozess hervorgegangen als biologische Intelligenz. Tiere sind evolutionär entwickelt - sie kommen mit massiven Mengen an fest kodierter Hardware. Ein Zebra rennt Minuten nach der Geburt. Das ist kein Reinforcement Learning, das sind Millionen Jahre Evolution, die Gewichte über einen Mechanismus, den wir nicht verstehen, in die DNA kodiert. LLMs hingegen werden trainiert, indem sie Internet-Dokumente nachahmen. Sie sind “ätherische Geist-Entitäten” - vollständig digital, Menschen nachahmend, ausgehend von einem völlig anderen Punkt im Raum möglicher Intelligenzen.

“Jahrzehnt der Agenten, nicht Jahr der Agenten” ist Karpathys Gegenreaktion auf Labor-Hype. Er ist seit 15 Jahren in der KI, hat wiederholt Vorhersagen scheitern sehen und seine Intuition kalibriert. Die Probleme sind lösbar, aber schwierig. Wann würdest du Claude tatsächlich als Praktikanten einstellen? Heute nicht, weil es einfach nicht zuverlässig genug funktioniert. Diese Lücke zu schließen wird ein Jahrzehnt dauern.

Pre-training als “beschissene Evolution” ist ein nützliches mentales Modell. Evolution gibt Tieren einen Ausgangspunkt mit eingebauten Algorithmen und Repräsentationen. Pre-training tut etwas Analoges, aber durch einen praktisch umsetzbaren Prozess - Mustervervollständigung auf Internet-Dokumenten. Die interessante Nuance: Pre-training tut zwei Dinge gleichzeitig: (1) es nimmt Wissen auf und (2) es bootet Intelligenz-Schaltkreise durch das Beobachten algorithmischer Muster. Karpathy denkt, dass der Wissensteil die Modelle tatsächlich zurückhalten könnte - indem er sie zu sehr auf Auswendiglernen statt auf Reasoning verlassen lässt.

Der Kompressionsunterschied erklärt viel. Llama 3 speichert etwa 0,7 Bits pro Token aus seinem 15 Billionen Token umfassenden Trainingsdatensatz. Der KV-Cache während der Inferenz speichert 320 Kilobytes pro Token - ein 35 Millionen-facher Unterschied. Alles in den Gewichten ist eine “verschwommene Erinnerung”. Alles im Kontext ist Arbeitsgedächtnis, direkt zugänglich. Das erklärt, warum In-Context-Learning intelligenter wirkt als das, was in die Gewichte eingebrannt ist.

Wichtigste Erkenntnisse

• “Geister, keine Tiere” - LLMs sind digitale Entitäten, die Menschen nachahmen, keine evolutionär entwickelten Intelligenzen mit fest kodierter Hardware
• Jahrzehnt der Agenten, nicht Jahr - Aktuelle Agenten sind beeindruckend, aber kognitiv mangelhaft; zuverlässige “KI-Mitarbeiter” sind noch 10 Jahre entfernt
• Pre-training ist beschissene Evolution - Ein praktisch umsetzbarer Weg, um Ausgangsrepräsentationen zu erhalten, aber sehr unterschiedlich von biologischer Optimierung
• Wissen könnte schaden - Modelle, die sich weniger auf auswendig gelerntes Wissen und mehr auf Reasoning verlassen, könnten bei neuartigen Problemen besser sein
• Arbeitsgedächtnis vs. verschwommene Erinnerung - KV-Cache (Kontext) ist 35 Millionen Mal informationsdichter als Gewichte pro Token
• In-Context-Learning könnte internen Gradientenabstieg ausführen - Einige Papiere deuten darauf hin, dass Attention-Layer so etwas wie Optimierung implementieren
• Fehlende Gehirnteile - Transformer ≈ kortikales Gewebe, Reasoning-Traces ≈ präfrontaler Kortex, aber viele Strukturen bleiben unerforscht
• Frühe Agenten-Versuche waren verfrüht - Das Universe-Projekt (2016) scheiterte, weil Modelle keine Repräsentationsfähigkeit hatten; man musste zuerst LLMs bekommen

Das große Ganze

Wir bauen keine künstlichen Menschen - wir bauen etwas völlig Neues. LLMs sind “Geister”, die aus der Nachahmung von Text entstanden sind, keine “Tiere”, die von der Evolution geformt wurden. Diesen Unterschied zu verstehen ist essenziell für den Aufbau von Systemen, die menschliche Intelligenz ergänzen, anstatt sie schlecht zu imitieren.