Geoffrey Hinton
Professeur émérite at University of Toronto
Le 'Parrain de l'IA'. Lauréat du prix Turing et du prix Nobel. A inventé la rétropropagation, co-créé AlexNet. Avertit maintenant sur les risques de l'IA.
À propos de Geoffrey Hinton
Geoffrey Hinton est largement connu comme le “Parrain de l’IA” pour ses contributions fondamentales à l’apprentissage profond. Il a reçu le prix Nobel de physique en 2024 et le prix Turing en 2018. En 2023, il a quitté Google pour parler librement des risques de l’IA.
Faits marquants de sa carrière
- University of Toronto (1987-présent) : Professeur émérite en informatique
- Google (2013-2023) : Vice-président et ingénieur Fellow, a quitté pour avertir sur les risques de l’IA
- Prix Nobel de physique (2024) : Pour des découvertes fondamentales en apprentissage automatique
- Prix Turing (2018) : Avec Yann LeCun et Yoshua Bengio
- Rétropropagation : Co-développé l’algorithme qui permet l’apprentissage profond
- AlexNet (2012) : Co-créé avec Ilya Sutskever et Alex Krizhevsky
Positions notables
Sur la compréhension
L’analogie des blocs Lego de Hinton explique comment les LLM comprennent :
“Think of words as thousand-dimensional Lego blocks. Words have ‘hands’ that want to shake hands with other words. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.”
“Pensez aux mots comme à des blocs de Lego à mille dimensions. Les mots ont des ‘mains’ qui veulent serrer la main à d’autres mots. La compréhension consiste à déformer ces blocs pour que leurs mains puissent se connecter - cette structure EST la compréhension.”
Sur Chomsky
“I think Chomsky is sort of a cult leader. Language not being learned is manifest nonsense.”
“Je pense que Chomsky est une sorte de chef de secte. Le langage non appris est un non-sens manifeste.”
Sur l’intelligence numérique
“If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.”
“Si l’énergie est bon marché, le calcul numérique est tout simplement meilleur car il peut partager les connaissances efficacement. GPT-4 sait des milliers de fois plus qu’une personne.”
Sur les hallucinations
“Hallucinations should be called confabulations - we do them too. We don’t store files and retrieve them; we construct memories when we need them.”
“Les hallucinations devraient être appelées confabulations - nous le faisons aussi. Nous ne stockons pas de fichiers et ne les récupérons pas ; nous construisons des souvenirs quand nous en avons besoin.”
Citations clés
- “Cette structure EST la compréhension.”
- “GPT-4 sait des milliers de fois plus qu’une personne.”
- “Les LLM comprennent de la même manière que nous.”
Lectures associées
- Confabulation - La reformulation de Hinton des hallucinations
- Apprentissage profond - Le domaine qu’il a pionnier
Video Mentions
Histoire d'origine d'AlexNet
AlexNet a été entraîné sur deux GPU dans la chambre d'Alex chez ses parents. Nous avons payé les GPU, ses parents ont payé l'électricité.
Insights sur le scaling
Je n'ai pas vraiment compris la leçon [que les modèles plus grands fonctionnent mieux] avant 2014. Nous aurions dû réaliser à la fin des années 80. C'est stupide de ne pas l'avoir fait, mais nous ne l'avons pas fait.
Acquisition de DNN Research
Quand l'enchère s'est terminée et que les mauvaises personnes pourraient gagner, nous avons simplement arrêté l'enchère.
La compréhension comme formation de structure
Pensez aux mots comme à des blocs de Lego à mille dimensions. La compréhension consiste à déformer ces blocs pour que leurs mains puissent se connecter - cette structure EST la compréhension.
Critique de Chomsky
Chomsky est une sorte de chef de secte. Le langage non appris est un non-sens manifeste - et si vous pouvez amener les gens à être d'accord sur un non-sens manifeste, vous les avez.
Intelligence numérique vs biologique
Si l'énergie est bon marché, le calcul numérique est tout simplement meilleur car il peut partager les connaissances efficacement. GPT-4 sait des milliers de fois plus qu'une personne.