Ende der Skalierungs-Ära

Der Wandel

Nach fünf Jahren von “Skalierung ist alles, was man braucht” (2020-2025) signalisieren führende KI-Forscher eine grundlegende Veränderung: Reine Skalierung stößt an abnehmende Erträge. Die nächsten Durchbrüche werden echte Forschungsinnovation erfordern, nicht nur mehr Rechenleistung.

Wichtige Signale

Ilya Sutskewers Framework

Der ehemalige Chief Scientist von OpenAI rahmt die KI-Geschichte als oszillierende Epochen:

• 2012-2020: Forschungsära (Deep-Learning-Durchbrüche)
• 2020-2025: Skalierungsära (größer ist besser)
• 2025+: Rückkehr zur Forschung (neue Paradigmen erforderlich)

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”

“Ist die Überzeugung wirklich, dass, wenn man einfach die Skalierung verhundertfacht, alles transformiert würde? Ich glaube nicht, dass das wahr ist.”

Demis Hassabis’ Formel

Der CEO von Google DeepMind beschreibt ihren aktuellen Ansatz:

“We operate on 50% scaling, 50% innovation. Both are required for AGI.”

“Wir arbeiten mit 50% Skalierung, 50% Innovation. Beides ist für AGI erforderlich.”

Er bemerkt: “Es gibt viel Raum zwischen exponentiell und asymptotisch” - Verbesserungen setzen sich fort, aber nicht im Tempo der Skalierungsära.

Warum jetzt?

Pre-Training-Daten sind endlich

Das Internet enthält nur so viel hochwertigen Text. Modelle wurden auf dem Großteil davon trainiert. Mehr Daten erfordern synthetische Erzeugung oder neue Modalitäten.

Rechenkosten sind enorm

Trainingsläufe kosten über 100 Millionen Dollar. Die Wirtschaftlichkeit von “einfach mehr skalieren” wird ohne garantierte Erträge unerschwinglich.

Benchmark-Sättigung

Modelle stoßen bei bestehenden Benchmarks an Grenzen, während sie bei Aufgaben versagen, die einfach sein sollten (das “Jagged Intelligence”-Problem).

Was sich ändert

Für KI-Labore

• Forschungseinstellungen nehmen zu - Brauchen neuartige Algorithmen, nicht nur Engineering
• Architekturexperimente - Transformer sind möglicherweise nicht das Endziel
• Multimodale und verkörperte KI - Text allein bringt uns möglicherweise nicht zu AGI

Für die Industrie

• Kleinere Akteure können konkurrieren - Innovation zählt mehr als Skalierung
• Differenzierung jenseits der Größe - Modelle konkurrieren durch Spezialisierung, nicht nur Parameter
• Fokus auf Anwendungen - Mit stagnierenden Modellen zählt das Produkt mehr

Die offene Frage

Ist dies ein vorübergehendes Plateau (wie 2016-2019 vor GPT-3) oder eine fundamentale Grenze aktueller Ansätze? Die Antwort wird bestimmen, ob AGI durch Skalierung, Innovation oder beides erreicht wird.

Weiterführende Literatur

• Scaling Laws - Das in Frage gestellte Paradigma
• Anwendung vor Training - Die strategische Antwort
• Jagged Intelligence - Warum Skalierung allein nicht ausreicht