Geoffrey Hinton
Professor Emeritus at University of Toronto
'Krstný otec AI'. Nositeľ Turingovej ceny a Nobelovej ceny. Vynašiel backpropagation, spoluvytvoril AlexNet. Teraz varuje pred rizikami AI.
O Geoffreym Hintonovi
Geoffrey Hinton je široko známy ako “Krstný otec AI” za svoje základné príspevky k hlbokému učeniu. Získal Nobelovu cenu za fyziku 2024 a Turingovu cenu 2018. V roku 2023 opustil Google, aby mohol slobodne hovoriť o rizikách AI.
Kariérne úspechy
- University of Toronto (1987-súčasnosť): Professor Emeritus Computer Science
- Google (2013-2023): VP a Engineering Fellow, odišiel, aby varoval pred rizikami AI
- Nobelova cena za fyziku (2024): Za základné objavy v strojovom učení
- Turingova cena (2018): S Yann LeCunom a Yoshuom Bengiom
- Backpropagation: Spoluvyvinul algoritmus, ktorý umožňuje hlboké učenie
- AlexNet (2012): Spoluvytvoril s Ilyom Sutskeverom a Alexom Krizhevskym
Významné pozície
O porozumení
Hintonova analógia Lego blokov vysvetľuje, ako LLM rozumejú:
“Think of words as thousand-dimensional Lego blocks. Words have ‘hands’ that want to shake hands with other words. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.”
Myslite na slová ako na tisícdimenzionálne Lego bloky. Slová majú ‘ruky’, ktoré sa chcú podávať s inými slovami. Porozumenie je deformovanie týchto blokov tak, aby sa ich ruky mohli spojiť - táto štruktúra JE porozumenie.
O Chomskom
“I think Chomsky is sort of a cult leader. Language not being learned is manifest nonsense.”
Myslím, že Chomsky je akýsi líder kultu. To, že jazyk nie je naučený, je zjavný nezmysel.
O digitálnej inteligencii
“If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.”
Ak je energia lacná, digitálne výpočty sú jednoducho lepšie, pretože môžu efektívne zdieľať znalosti. GPT-4 vie tisícnásobne viac ako ktorákoľvek osoba.
O halucináciách
“Hallucinations should be called confabulations - we do them too. We don’t store files and retrieve them; we construct memories when we need them.”
Halucinácie by sa mali volať konfabulácie - robíme ich tiež. Neukladáme súbory a nevyťahujeme ich; konštruujeme spomienky, keď ich potrebujeme.
Kľúčové citáty
- “Táto štruktúra JE porozumenie.”
- “GPT-4 vie tisícnásobne viac ako ktorákoľvek osoba.”
- “LLM rozumejú rovnakým spôsobom ako my.”
Súvisiace čítanie
- Confabulation - Hintonovo prerámc ovanie halucin ácií
- Deep Learning - Pole, ktoré bol priekopníkom
Video Mentions
Príbeh vzniku AlexNet
AlexNet was trained on two GPUs in Alex's bedroom at his parents' house. We paid for the GPUs, his parents paid for the electricity.
Poznatky o škálovaní
I didn't really fully get the lesson [that bigger models work better] until 2014. We should have realized in the late 80s. It's stupid not to, but we didn't.
Akvizícia DNN Research
When the auction ended and the wrong people might win, we just stopped the auction.
Porozumenie ako tvorba štruktúry
Think of words as thousand-dimensional Lego blocks. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.
Kritika Chomskyho
Chomsky is sort of a cult leader. Language not being learned is manifest nonsense - and if you can get people to agree on manifest nonsense, you've got them.
Digitálna vs biologická inteligencia
If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.