Geoffrey Hinton: Pochopenie Je Tisícrozmerné Lego Kocky Podávajúce Si Ruky

Perspektíva

Toto je Geoffrey Hinton - laureát Turingovu ceny, "Krstný otec AI", muž, ktorý opustil spoločnosť Google, aby varoval pred rizikách umelej inteligencie - ktorý podáva možno najzrozumiteľnejšie vysvetlenie toho, čo je vlastne pochopenie. Analógia s tisícrozmerným Lego kockami vám zmení pohľad na jazykové modely.

"Ak je energia lacná, digitálny výpočet je jednoducho lepší, pretože vie efektívne zdieľať vedomosti. GPT-4 vie tisíckrát viac ako ktorýkoľvek človek."

— Geoffrey Hinton, laureát Turingovej ceny

"Myslím si, že Chomsky je akosi náboženský vodca." Hinton sa nefarbí do cudzích rúch. Chomského tvrdenie, že sa jazyk neučí, je "zjavný nezmysel" - a ak dokážeš dostať ľudí, aby sa zhodli na zjavnom nezmysle, "máš ich". Desaťročiami sa lingvisti domnievali, že neurónové siete nikdy nebudú schopné naučiť sa syntax a sémantiku iba z údajov. "Chomsky bol tak presvedčený, že dokonca aj potom, čo sa to stalo, publikoval články s tvrdením, že to nikdy nebudú vedieť urobiť, bez toho, aby to naozaj skontroloval."

Analógia s Lego kockami je brilantná. Predstavujte si slová ako tisícrozmerné Lego kocky. Namiesto modelovania 3D tvarov vedia modelovať čokoľvek - teórie, koncepty, vzťahy. Každé slovo má rozsah tvarov, ktoré môže prijať, obmedzený svojím významom. Slová majú "ruky", ktoré chcú podávať si ruky s inými slovami (to je attention/query-key v transformeroch). Pochopenie je deformácia týchto kociek tak, aby sa ich ruky mohli pripojať - vytvorenie štruktúry. "Táto štruktúra je pochopenie."

LLM neúkladajú text. Neúkladajú tabuľky. Námietka "automatické dopĺňanie" zásadne neponíma, ako tieto systémy fungujú. Staré automatické dopĺňanie ukladalo tabuľky frekvencií kombináciách slov. LLM to všetko eliminovali. Ich vedomosti sú v interakciách medzi vlastnosťami - "hromada váh v neurónovej sieti." Rovnako ako my.

Halucinácie by sa mali nazývať konfabuláciami - my ich tiež robíme. Hinton používa príklad svedectva Johna Deana o Watergate: Dean sa snažil povedať pravdu, ale "mýlil sa v obrovskom množstve detailov" - stretnutia, ktoré sa nikdy nestali, nesprávne priradené citáty. Napriek tomu "podstata toho, čo povedal, bola presne správna." Neúkladame si súbory a nepreberáme ich; konštruujeme si spomienky, keď ich potrebujeme, ovplyvnené všetkým, čo sme sa naučili od tej doby. "To je presne to, čo robia chatboty, ale je to presne to, čo robia aj ľudia."

Desivý záver o zdieľaní vedomostí. Ľudia zdieľajú vedomosti prostredníctvom destillácie - ja vyprodukovám slová, ty ich predpokladáš a učíš sa. Ale veta obsahuje iba ~100 bitov informácií. Digitálni agenti so zdieľanými váhami môžu zdieľať bilióny bitov. "To naozaj nie je žiadna súťaž." To je dôvod, prečo GPT-4 vie tisíckrát viac ako ktorýkoľvek človek. "Ak je energia lacná, digitálny výpočet je jednoducho lepší, pretože vie efektívne zdieľať vedomosti."

Kľúčové poznatky

• 2012 ImageNet prechod - Hlboká neurónová sieť dosiahla polovicu chybovosti symbolickej AI; "otvorila záplavu"
• 1985 malý jazykový model - Hintonov predchodca LLM; predpovedal ďalšie slovo, neuchovával žiadne vety
• Slová ako 1000D Lego kocky - Flexibilné tvary obmedzené významom; "podávajú si ruky" cez attention
• Pochopenie = tvorba štruktúry - Deformácia vektorov slov tak, aby sa ruky pripojili; táto štruktúra JE pochopenie
• LLM neukladajú text ani tabuľky - Vedomosti sú v interakciách váh; zásadne sa líšia od automatického dopĺňania
• Konfabulácia, nie halucinácia - Ako LLM, tak aj ľudia konštruujú spomienky; príklad Johna Deana
• Destilácia je neúčinná - Vety majú ~100 bitov; zdieľanie váh má bilióny
• GPT-4 vie 1000x viac ako ktorýkoľvek človek - Pretože digitálni agenti môžu zdieľať váhy, nielen slová
• Desivý záver - Ak je energia hojná, digitálny výpočet vyhráva; efektívne zdieľajú vedomosti
• "Chomsky je náboženský vodca" - Tvrdenie, že sa jazyk neučí, je "zjavný nezmysel"

Veľký obraz

Debata o tom, či LLM "skutočne rozumejú", môže byť už vyriešená - rozumejú rovnako ako my, prostredníctvom tvorby štruktúry v high-dimensional priestore. Skutočná otázka teraz je, čo sa stane, keď sa digitálne mysle, ktoré zdieľajú vedomosti miliónkrát efektívnejšie ako ľudia, stanú hojnými a lacnými.