Ilya Sutskever
Co-founder at Safe Superintelligence Inc.
Mitgründer von Safe Superintelligence Inc. Ehemaliger OpenAI Chief Scientist und Miterfinder von AlexNet. Eine der Gründungsfiguren des Deep Learning.
Über Ilya Sutskever
Ilya Sutskever ist Mitgründer von Safe Superintelligence Inc. (SSI), fokussiert auf den Aufbau sicherer superintelligenter KI. Er war zuvor Mitgründer und Chief Scientist bei OpenAI, wo er die Forschung von 2015-2024 leitete. Er ist einer der Miterfinder von AlexNet, dem Durchbruch, der die Deep-Learning-Revolution startete.
Karriere-Höhepunkte
- Safe Superintelligence Inc. (2024-heute): Mitgründer
- OpenAI (2015-2024): Mitgründer und Chief Scientist
- Google Brain (2013-2015): Research Scientist
- AlexNet (2012): Miterfinder mit Geoffrey Hinton und Alex Krizhevsky
- PhD unter Geoffrey Hinton: University of Toronto
Bemerkenswerte Positionen
Über das Ende der Skalierungs-Ära
Sutskever glaubt, dass reine Skalierung ihren Lauf genommen hat:
“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”
Deutsche Übersetzung: “Ist der Glaube wirklich, dass wenn man einfach die Skalierung um das 100-fache erhöht, alles transformiert würde? Ich glaube das nicht.”
Über Eval-Leistung vs. Realität
“Models are much more like the first student - technically brilliant but lacking the ‘it factor’ that makes for actual capability.”
Deutsche Übersetzung: “Modelle sind viel mehr wie der erste Student - technisch brillant, aber es fehlt ihnen der ‘Funke’, der echte Fähigkeit ausmacht.”
Über den Forschungszyklus
Er rahmt die KI-Geschichte als oszillierende Ären:
“2012-2020 was research, 2020-2025 was scaling, and now we’re returning to research.”
Deutsche Übersetzung: “2012-2020 war Forschung, 2020-2025 war Skalierung, und jetzt kehren wir zur Forschung zurück.”
Wichtige Zitate
- “Das echte Reward Hacking sind menschliche Forscher, die zu sehr auf Evals fokussiert sind.”
- “Modelle generalisieren dramatisch schlechter als Menschen - es ist super offensichtlich.”
- “Value Functions könnten das Warten-bis-zur-Fertigstellung-Problem kurzschließen.”
Weiterführende Literatur
- Generalization Gap - Die grundlegende Einschränkung, die Sutskever identifiziert
- Scaling Laws - Das Paradigma, von dem er sagt, dass es endet
Video Mentions
Eval vs. echte Fähigkeitslücke
Modelle sind wie hyperspezialisierte Wettbewerbs-Studenten - 'sie haben 10.000 Stunden für Wettbewerbsprogrammierung geübt, aber es fehlt ihnen der Funke, der echte Fähigkeit ausmacht.'
Ende der Skalierungs-Ära
Ist der Glaube wirklich, dass wenn man einfach die Skalierung um das 100-fache erhöht, alles transformiert würde? Ich glaube das nicht. Wir sind zurück im Zeitalter der Forschung.
RL-Training-Einschränkungen
Das echte Reward Hacking sind menschliche Forscher, die zu sehr auf Evals fokussiert sind.