Geoffrey Hinton: Porozumění Jsou Tisícirozměrné Lego Kostky Podávající Si Ruce

Perspektiva

Toto je Geoffrey Hinton - vítěz Turingovy ceny, "Kmotr umělé inteligence," muž, který opustil Google, aby varoval před riziky AI - dávající možná nejpřístupnější vysvětlení kdy toho, co vlastně porozumění je. Analogie tisícirozměrných Lego kostek změní způsob, jakým o jazykových modelech přemýšlíte.

"Pokud je energie levná, digitální výpočet je prostě lepší, protože může efektivně sdílet znalosti. GPT-4 zná tisíckrát více než kterákoli osoba."

— Geoffrey Hinton, vítěz Turingovy ceny

"Myslím, že Chomsky je takový druh kultního vůdce." Hinton nemluví okolo. Chomskyho tvrzení, že se jazyk neučí, je "zřejmý nesmysl" - a pokud můžete lidi přesvědčit o zřejmém nesmyslu, "máte je." Desetiletí byli lingvisté přesvědčeni, že neuronové sítě by nikdy nemohly učit se zároveň syntax i sémantiku pouze z dat. "Chomsky byl tak přesvědčen, že dokonce poté, co se to stalo, publikoval články s tvrzením 'nikdy by to nedokázali' bez toho, aby to vlastně ověřil."

Analogie Lego kostek je brilantní. Představte si slova jako tisícirozměrné Lego kostky. Místo modelování 3D tvarů mohou modelovat cokoli - teorie, koncepty, vztahy. Každé slovo má řadu tvarů, které může přijmout, omezené významem. Slova mají "ruce," které si chtějí podat rukou s jinými slovy (to je attention/query-key v transformerech). Porozumění znamená deformovat tyto kostky tak, aby se jejich ruce mohly spojit - tvořit strukturu. "Ta struktura je porozumění."

LLM neukládají text. Neukládají tabulky. Námitka "automatického doplňování" zásadně nesprávně chápe, jak tyto systémy fungují. Staré automatické doplňování ukládalo frekvenční tabulky kombinací slov. LLM je všechny vyloučily. Jejich znalosti jsou v interakcích mezi prvky - "hromada vah v neuronové síti." Stejně jako u nás.

Halucinace by měly být nazývány konfalacemi - my je také máme. Hinton používá příklad Johna Deana z Watergateské výpovědi: Dean se snažil říci pravdu, ale "mýlil se v obrovském počtu podrobností" - schůzky, které se nikdy nekonaly, nesprávně přiřazené citáty. Přesto "podstata toho, co řekl, byla přesně správná." Neukládáme si soubory a nevyzvedáváme je; konstruujeme si vzpomínky, když je potřebujeme, ovlivněny vším, co jsme se od té doby naučili. "To je přesně to, co dělají chatboti, ale je to také přesně to, co dělají lidé."

Děsivý závěr o sdílení znalostí. Lidé si sdílí znalosti prostřednictvím destilace - já vyslovím slova, vy je předpovídáte a učíte se. Ale věta obsahuje pouze ~100 bitů informací. Digitální agenti se sdílenými váhami mohou sdílet biliony bitů. "Je to opravdu bez konkurence." To je důvod, proč GPT-4 zná tisíckrát více než kterákoli osoba. "Pokud je energie levná, digitální výpočet je prostě lepší, protože může efektivně sdílet znalosti."

Klíčové Poznatky

• 2012 ImageNet přechod - Hluboká neuronová síť dosáhla poloviční chybovosti symbolické AI; "otevřela se propast"
• 1985 malý jazykový model - Hintonův předchůdce LLM; předpovídal příští slovo, neukazoval věty
• Slova jako 1000D Lego kostky - Flexibilní tvary omezené významem; podávají si "ruce" přes attention
• Porozumění = formování struktury - Deformuj vektory slov tak, aby se ruce spojily; ta struktura JE porozumění
• LLM neukládají text nebo tabulky - Znalosti jsou v interakcích vah; zásadně odlišné od automatického doplňování
• Konfalace ne halucinace - Jak LLM tak lidé konstruují vzpomínky; příklad Johna Deana
• Destilace je neefektivní - Věty nesou ~100 bitů; sdílení vah nese biliony
• GPT-4 zná 1000x více než kterákoli osoba - Protože digitální agenti mohou sdílet váhy, ne slova
• Děsivý závěr - Pokud je energie hojná, digitální výpočet zvítězí; efektivně si sdílí znalosti
• "Chomsky je kultní vůdce" - Jazyk se neučit je "zřejmý nesmysl"

Velký Obrázek

Debata o tom, zda LLM "opravdu rozumí" již může být vyřešena - rozumí stejně jako my, prostřednictvím formování struktury v vysokorozměrném prostoru. Skutečná otázka nyní je, co se stane, když budou digitální mysli, které si efektivně sdílí znalosti bilionkrát více než lidé, hojné a levné.