Koniec éry škálovania

Posun

Po piatich rokoch “škálovanie je všetko, čo potrebujete” (2020-2025), vedúci výskumníci AI signalizujú zásadnú zmenu: čisté škálovanie naráža na klesajúce výnosy. Ďalšie prelomy budú vyžadovať skutočné výskumné inovácie, nie len viac výpočtového výkonu.

Kľúčové signály

Rámec Ilyi Sutskevera

Bývalý hlavný vedecký pracovník OpenAI rámcuje históriu AI ako oscilujúce éry:

• 2012-2020: Éra výskumu (prelomy v hlbokom učení)
• 2020-2025: Éra škálovania (väčšie je lepšie)
• 2025+: Návrat k výskumu (potrebné nové paradigmy)

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”

“Je skutočne presvedčenie, že ak len 100-násobne zväčšíte škálu, všetko by sa transformovalo? Nemyslím si, že je to pravda.”

Vzorec Demisa Hassabisa

Generálny riaditeľ Google DeepMind popisuje ich súčasný prístup:

“We operate on 50% scaling, 50% innovation. Both are required for AGI.”

“Pracujeme na 50% škálovaní, 50% inováciách. Oboje je potrebné pre AGI.”

Poznamenáva: “Je veľa priestoru medzi exponenciálnym a asymptotickým” - zlepšenia pokračujú, ale nie tempom éry škálovania.

Prečo teraz?

Dáta pre predtrénovanie sú konečné

Internet obsahuje len obmedzené množstvo vysoko kvalitného textu. Modely boli natrénované na väčšine z neho. Viac dát vyžaduje syntetické generovanie alebo nové modality.

Náklady na výpočtový výkon sú enormné

Tréningové behy stoja viac ako 100 miliónov dolárov. Ekonomika “len viac škálujte” sa stáva prohibitívnou bez zaručených návratov.

Saturácia benchmarkov

Modely dosahujú strop existujúcich benchmarkov, zatiaľ čo stále zlyhávajú pri úlohách, ktoré by mali byť jednoduché (problém “zúbkatej inteligencie”).

Čo sa mení

Pre AI laboratória

• Nábor výskumníkov sa zvyšuje - Potrebné nové algoritmy, nie len inžinierstvo
• Architektonické experimenty - Transformery nemusia byť konečná stanica
• Multimodálna a telesná AI - Samotný text nás nemusí dostať k AGI

Pre priemysel

• Menší hráči môžu súťažiť - Inovácia má väčší význam než škála
• Diferenciácia nad rámec veľkosti - Modely súťažia v špecializácii, nie len parametroch
• Zameranie na aplikácie - S plateauovaním modelov je produkt dôležitejší

Otvorená otázka

Je toto dočasné plateau (ako 2016-2019 pred GPT-3) alebo základný limit súčasných prístupov? Odpoveď určí, či AGI príde zo škálovania, inovácie alebo oboch.

Súvisiace čítanie

• Scaling Laws - Paradigma, ktorá je spochybňovaná
• Application Over Training - Strategická odpoveď
• Jagged Intelligence - Prečo samotné škálovanie nestačí