Ilya Sutskever
Co-fondateur at Safe Superintelligence Inc.
Co-fondateur de Safe Superintelligence Inc. Ancien scientifique en chef d'OpenAI et co-inventeur d'AlexNet. L'une des figures fondatrices de l'apprentissage profond.
À propos d’Ilya Sutskever
Ilya Sutskever est co-fondateur de Safe Superintelligence Inc. (SSI), axé sur la construction d’une IA superintelligente sûre. Il était auparavant co-fondateur et scientifique en chef chez OpenAI, où il a dirigé la recherche de 2015 à 2024. Il est l’un des co-inventeurs d’AlexNet, la percée qui a lancé la révolution de l’apprentissage profond.
Faits marquants de sa carrière
- Safe Superintelligence Inc. (2024-présent) : Co-fondateur
- OpenAI (2015-2024) : Co-fondateur et scientifique en chef
- Google Brain (2013-2015) : Chercheur scientifique
- AlexNet (2012) : Co-inventeur avec Geoffrey Hinton et Alex Krizhevsky
- Doctorat sous Geoffrey Hinton : University of Toronto
Positions notables
Sur la fin de l’ère du scaling
Sutskever croit que le scaling pur a fait son temps :
“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”
“Est-ce que la croyance est vraiment que si vous multipliez simplement l’échelle par 100, tout serait transformé ? Je ne pense pas que ce soit vrai.”
Sur la performance d’évaluation vs réalité
“Models are much more like the first student - technically brilliant but lacking the ‘it factor’ that makes for actual capability.”
“Les modèles sont beaucoup plus comme le premier étudiant - techniquement brillants mais manquant du ‘facteur’ qui fait la capacité réelle.”
Sur le cycle de recherche
Il présente l’histoire de l’IA comme des ères oscillantes :
“2012-2020 was research, 2020-2025 was scaling, and now we’re returning to research.”
“2012-2020 était la recherche, 2020-2025 était le scaling, et maintenant nous retournons à la recherche.”
Citations clés
- “Le vrai ‘reward hacking’ ce sont les chercheurs humains trop concentrés sur les évaluations.”
- “Les modèles généralisent dramatiquement moins bien que les gens - c’est super évident.”
- “Les fonctions de valeur pourraient court-circuiter le problème de l’attente jusqu’à la fin.”
Lectures associées
- Écart de généralisation - La limitation fondamentale identifiée par Sutskever
- Lois de scaling - Le paradigme qu’il dit en train de se terminer
Video Mentions
Écart entre évaluation et capacité réelle
Les modèles sont comme des étudiants de compétition hyper-spécialisés - 'ils ont pratiqué 10 000 heures pour la programmation compétitive mais manquent du facteur qui fait la capacité réelle.'
Fin de l'ère du scaling
Est-ce que la croyance est vraiment que si vous multipliez simplement l'échelle par 100, tout serait transformé ? Je ne pense pas que ce soit vrai. Nous sommes de retour à l'ère de la recherche.
Limitations de l'entraînement RL
Le vrai 'reward hacking' ce sont les chercheurs humains qui sont trop concentrés sur les évaluations.