Konec éry škálování

Posun

Po pěti letech “škálování je vše, co potřebujete” (2020-2025) vedoucí výzkumníci AI signalizují zásadní změnu: čisté škálování naráží na klesající výnosy. Další průlomy budou vyžadovat skutečnou výzkumnou inovaci, ne jen více výpočetního výkonu.

Klíčové signály

Rámec Ilyi Sutskevera

Bývalý hlavní vědecký pracovník OpenAI rámcuje historii AI jako oscilující éry:

• 2012-2020: Éra výzkumu (průlomy hlubokého učení)
• 2020-2025: Éra škálování (větší je lepší)
• 2025+: Návrat k výzkumu (potřeba nových paradigmat)

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”

“Je skutečně víra, že kdybyste jen 100× zvětšili škálu, vše by se transformovalo? Nemyslím si, že je to pravda.”

Vzorec Demise Hassabise

CEO Google DeepMind popisuje jejich současný přístup:

“We operate on 50% scaling, 50% innovation. Both are required for AGI.”

“Pracujeme na 50 % škálování, 50 % inovace. Obojí je vyžadováno pro AGI.”

Poznamenává: “Mezi exponenciálním a asymptotickým je hodně místa” - zlepšení pokračují, ale ne tempem éry škálování.

Proč teď?

Data pro předtrénování jsou konečná

Internet obsahuje jen tolik vysoce kvalitního textu. Modely byly trénovány na většině z něj. Více dat vyžaduje syntetické generování nebo nové modality.

Náklady na výpočetní výkon jsou obrovské

Trénovací běhy stojí 100M $+. Ekonomika “prostě víc škálujte” se stává prohibitivní bez zaručených výnosů.

Saturace benchmarků

Modely dosahují stropů na existujících benchmarcích, zatímco stále selhávají u úloh, které by měly být snadné (problém “zubaté inteligence”).

Co se mění

Pro AI laboratoře

• Nábor výzkumníků se zvyšuje - Potřeba nových algoritmů, ne jen inženýrství
• Architektonické experimenty - Transformery nemusí být konečný stav
• Multimodální a vtělená AI - Samotný text nemusí vést k AGI

Pro průmysl

• Menší hráči mohou konkurovat - Inovace má větší význam než škála
• Diferenciace za hranicí velikosti - Modely soutěží na specializaci, ne jen na parametrech
• Fokus na aplikace - S modely na plató je produkt důležitější

Otevřená otázka

Je to dočasné plató (jako 2016-2019 před GPT-3) nebo fundamentální limit současných přístupů? Odpověď určí, zda AGI přijde ze škálování, inovace, nebo obojího.

Související čtení

• Zákony škálování - Paradigma, které je zpochybňováno
• Aplikace před tréninkem - Strategická odpověď
• Zubatá inteligence - Proč samotné škálování nestačí