Ilya Sutskever o tom, proč se modely stále nemohou generalizovat jako lidé

Perspektiva

Toto je Ilya Sutskever v jeho nejvíce promyšleném stavu - sedí si s Dwarkesh Patelom na hlubokou konverzaci o tom, co skutečně chybí současným AI systémům. Žádná oznámení produktů, žádný hype - jen dva lidé bojující s hlavními vědeckými otázkami.

Rozpor mezi evaluacemi a realitou je ústředním puzzle. Modely vyhrávají zlaté medaile na Mezinárodní matematické olympiádě, ale nemohou spolehlivě opravit bug, aniž by znovu nezavedly předchozí chybu. Ilyino vysvětlení je ostré: RL trénink je příliš úzce optimalizován. Týmy se dívají na evaluace, budují prostředí zaměřená na tyto evaluace a skončí s ekvivalentem studenta, který trénoval 10 000 hodin na soutěžní programování - technicky brilantní, ale bez "toho faktoru", který vytváří skutečnou schopnost. "Modely jsou mnohem více jako první student, ale ještě více."

Insights z pre-trainingu jsou podceňované. Když děláte pre-training, nemusíte volit data - prostě si vezměte všechno. Ale RL trénink vyžaduje volbu prostředí a tyto volby jsou často reverzně inženýrované z benchmark testů. "Skutečný reward hacking jsou lidští výzkumní pracovníci, kteří jsou příliš zaměřeni na evaluace."

Vracíme se do věku výzkumu. Ilya si představuje historii AI jako oscilující mezi éry: 2012-2020 byl výzkum, 2020-2025 bylo škálování a teď - když je výpočetní výkon tak drahý a pre-training data konečná - se vracíme k výzkumu. "Je opravdu přesvědčení, že pokud bys jen 100x zvětšil měřítko, všechno by se transformovalo? Nemyslím si to."

Funkce hodnotení by mohly být klíčové. Konverzace se stále vrací k tomu, jak se učí lidé - teenage řidiči po 10 hodinách, výzkumní pracovníci si vyzvedávající myšlenkové styly od mentorů. Ilya poukazuje na případ pacienta s mozkovým infarktem, který ztratil emoční zpracování a stal se neschopný činit rozhodnutí. Emoce mohou být pevně zakódovanou funkcí hodnotění z evoluce. Současný RL nemá nic srovnatelného - neurčitě nedostanete signál učení, dokud nedokončíte úkol a neskórujete ho.

Problem generalizace je fundamentální. Modely se generalizují "dramaticky hůře než lidé" a je to "super zřejmé." Dokonce i v doménách bez evolučního prioritu (matematika, kódování) se lidé učí rychleji a robustněji. To naznačuje něco mimo to, že bychom potřebovali jen více dat nebo výpočetního výkonu.

Klíčová zjištění

• Výkon v evaluacích ≠ skutečná schopnost - Modely jsou jako hyper-specializovaní studenti na soutěž; postrádají obecný vkus a úsudek
• RL trénink vytváří problém - Týmy optimalizují pro evaluace, produkují úzkou spíše než obecnou schopnost
• Vracíme se do věku výzkumu - Samotné škálování nebude transformovat schopnost; potřebujeme fundamentální průlomy
• Funkce hodnotení jsou málo prozkoumané - Mohly by zkrátit problém "čekání na dokončení úkolu" v RL
• Lidské emoce mohou být pevně zakódovanými funkcemi hodnotění - Evoluce nám dala robustní signály rozhodování, které modelům chybí
• Mezera v generalizaci je fundamentální - Lidé se učí rychleji a robustněji i v doménách bez evolučního podkladu
• Pre-training data jsou konečná - Éra "jen více škáluj" končí; potřebujeme nové recepty

Velký obrázek

Éra škálování, která definovala AI od 2020-2025, se může blížit ke konci. Další průlom nepřijde z větších modelů - přijde z řešení problému generalizace, který dělá současné AI podobné brilantnímu, ale nespolehlivému stážistovi spíše než důvěryhodné kolegovi.