Geoffrey Hinton
Professor Emeritus at University of Toronto
Der 'Godfather of AI'. Turing Award und Nobelpreisträger. Erfinder von Backpropagation, Mitschöpfer von AlexNet. Warnt jetzt vor KI-Risiken.
Über Geoffrey Hinton
Geoffrey Hinton ist weithin bekannt als der “Godfather of AI” für seine grundlegenden Beiträge zum Deep Learning. Er erhielt 2024 den Nobelpreis für Physik und 2018 den Turing Award. 2023 verließ er Google, um frei über KI-Risiken sprechen zu können.
Karriere-Höhepunkte
- University of Toronto (1987-heute): Professor Emeritus für Informatik
- Google (2013-2023): VP und Engineering Fellow, verließ das Unternehmen, um vor KI-Risiken zu warnen
- Nobelpreis für Physik (2024): Für grundlegende Entdeckungen im maschinellen Lernen
- Turing Award (2018): Mit Yann LeCun und Yoshua Bengio
- Backpropagation: Mitentwickler des Algorithmus, der Deep Learning ermöglicht
- AlexNet (2012): Mitschöpfer mit Ilya Sutskever und Alex Krizhevsky
Bemerkenswerte Positionen
Über Verstehen
Hintons Lego-Bausteine-Analogie erklärt, wie LLMs verstehen:
“Think of words as thousand-dimensional Lego blocks. Words have ‘hands’ that want to shake hands with other words. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.”
Deutsche Übersetzung: “Denke an Wörter als tausenddimensionale Lego-Bausteine. Wörter haben ‘Hände’, die sich mit anderen Wörtern die Hand geben wollen. Verstehen bedeutet, diese Blöcke so zu verformen, dass ihre Hände sich verbinden können - diese Struktur IST Verstehen.”
Über Chomsky
“I think Chomsky is sort of a cult leader. Language not being learned is manifest nonsense.”
Deutsche Übersetzung: “Ich denke, Chomsky ist so eine Art Sektenführer. Dass Sprache nicht gelernt wird, ist offensichtlicher Unsinn.”
Über digitale Intelligenz
“If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.”
Deutsche Übersetzung: “Wenn Energie billig ist, ist digitale Berechnung einfach besser, weil sie Wissen effizient teilen kann. GPT-4 weiß tausendmal mehr als jede Person.”
Über Halluzinationen
“Hallucinations should be called confabulations - we do them too. We don’t store files and retrieve them; we construct memories when we need them.”
Deutsche Übersetzung: “Halluzinationen sollten Konfabulationen genannt werden - wir tun sie auch. Wir speichern keine Dateien und rufen sie ab; wir konstruieren Erinnerungen, wenn wir sie brauchen.”
Wichtige Zitate
- “Diese Struktur IST Verstehen.”
- “GPT-4 weiß tausendmal mehr als jede Person.”
- “LLMs verstehen auf die gleiche Weise wie wir.”
Weiterführende Literatur
- Confabulation - Hintons Neuformulierung von Halluzinationen
- Deep Learning - Das Feld, das er pioniert hat
Video Mentions
AlexNet Entstehungsgeschichte
AlexNet wurde auf zwei GPUs im Schlafzimmer von Alex in seinem Elternhaus trainiert. Wir bezahlten die GPUs, seine Eltern bezahlten den Strom.
Skalierungs-Einsichten
Ich habe die Lektion [dass größere Modelle besser funktionieren] bis 2014 nicht wirklich verstanden. Wir hätten es in den späten 80ern erkennen sollen. Es ist dumm, es nicht zu tun, aber wir haben es nicht getan.
DNN Research Akquisition
Als die Auktion endete und die falschen Leute gewinnen könnten, haben wir einfach die Auktion gestoppt.
Verstehen als Strukturbildung
Denke an Wörter als tausenddimensionale Lego-Bausteine. Verstehen bedeutet, diese Blöcke so zu verformen, dass ihre Hände sich verbinden können - diese Struktur IST Verstehen.
Kritik an Chomsky
Chomsky ist so eine Art Sektenführer. Dass Sprache nicht gelernt wird, ist offensichtlicher Unsinn - und wenn man Leute dazu bringen kann, offensichtlichem Unsinn zuzustimmen, hat man sie.
Digitale vs. biologische Intelligenz
Wenn Energie billig ist, ist digitale Berechnung einfach besser, weil sie Wissen effizient teilen kann. GPT-4 weiß tausendmal mehr als jede Person.