Geoffrey Hinton
Professor Emeritus at University of Toronto
El 'Padrino de la IA'. Laureado con el Premio Turing y Premio Nobel. Inventó la retropropagación, co-creó AlexNet. Ahora advierte sobre riesgos de IA.
Acerca de Geoffrey Hinton
Geoffrey Hinton es ampliamente conocido como el “Padrino de la IA” por sus contribuciones fundamentales al aprendizaje profundo. Recibió el Premio Nobel de Física 2024 y el Premio Turing 2018. En 2023, dejó Google para hablar libremente sobre los riesgos de la IA.
Hitos de Carrera
- University of Toronto (1987-presente): Profesor Emérito de Ciencias de la Computación
- Google (2013-2023): VP e Ingeniero Fellow, dejó para advertir sobre riesgos de IA
- Premio Nobel de Física (2024): Por descubrimientos fundamentales en aprendizaje automático
- Premio Turing (2018): Con Yann LeCun y Yoshua Bengio
- Retropropagación: Co-desarrolló el algoritmo que permite el aprendizaje profundo
- AlexNet (2012): Co-creado con Ilya Sutskever y Alex Krizhevsky
Posiciones Notables
Sobre Entendimiento
La analogía de bloques de Lego de Hinton explica cómo los LLMs entienden:
“Think of words as thousand-dimensional Lego blocks. Words have ‘hands’ that want to shake hands with other words. Understanding is deforming these blocks so their hands can connect - that structure IS understanding.”
“Piensa en las palabras como bloques de Lego de mil dimensiones. Las palabras tienen ‘manos’ que quieren estrechar manos con otras palabras. Entender es deformar estos bloques para que sus manos puedan conectarse - esa estructura ES entendimiento.”
Sobre Chomsky
“I think Chomsky is sort of a cult leader. Language not being learned is manifest nonsense.”
“Creo que Chomsky es como un líder de culto. Que el lenguaje no se aprende es un sinsentido manifiesto.”
Sobre Inteligencia Digital
“If energy is cheap, digital computation is just better because it can share knowledge efficiently. GPT-4 knows thousands of times more than any person.”
“Si la energía es barata, la computación digital es simplemente mejor porque puede compartir conocimiento eficientemente. GPT-4 sabe miles de veces más que cualquier persona.”
Sobre Alucinaciones
“Hallucinations should be called confabulations - we do them too. We don’t store files and retrieve them; we construct memories when we need them.”
“Las alucinaciones deberían llamarse confabulaciones - nosotros también las hacemos. No almacenamos archivos y los recuperamos; construimos memorias cuando las necesitamos.”
Citas Clave
- “Esa estructura ES entendimiento.”
- “GPT-4 sabe miles de veces más que cualquier persona.”
- “Los LLMs entienden de la misma manera que nosotros.”
Lectura Relacionada
- Confabulation - El reencuadre de Hinton de las alucinaciones
- Deep Learning - El campo que él fue pionero
Video Mentions
Historia del origen de AlexNet
AlexNet fue entrenado en dos GPUs en el dormitorio de Alex en la casa de sus padres. Pagamos por las GPUs, sus padres pagaron la electricidad.
Perspectivas de escalamiento
Realmente no entendí completamente la lección [de que modelos más grandes funcionan mejor] hasta 2014. Deberíamos habernos dado cuenta a finales de los 80. Es estúpido no hacerlo, pero no lo hicimos.
Adquisición de DNN Research
Cuando la subasta terminó y las personas equivocadas podrían ganar, simplemente detuvimos la subasta.
Entendimiento como formación de estructura
Piensa en las palabras como bloques de Lego de mil dimensiones. Entender es deformar estos bloques para que sus manos puedan conectarse - esa estructura ES entendimiento.
Crítica de Chomsky
Chomsky es como un líder de culto. Que el lenguaje no se aprende es un sinsentido manifiesto - y si puedes hacer que la gente esté de acuerdo con un sinsentido manifiesto, los tienes.
Inteligencia digital vs biológica
Si la energía es barata, la computación digital es simplemente mejor porque puede compartir conocimiento eficientemente. GPT-4 sabe miles de veces más que cualquier persona.