Ilya Sutskever
Co-founder at Safe Superintelligence Inc.
Spoluzakladateľ Safe Superintelligence Inc. Bývalý hlavný vedec OpenAI a spolutvorca AlexNet. Jedna zo zakladajúcich postáv hlbokého učenia.
O Ilyovi Sutskeverovi
Ilya Sutskever je spoluzakladateľ Safe Superintelligence Inc. (SSI), zameraný na budovanie bezpečnej superinteligentnej AI. Predtým bol spoluzakladateľom a hlavným vedcom v OpenAI, kde viedol výskum od 2015-2024. Je jedným zo spoluvynálezcov AlexNet, prelomového objavu, ktorý spustil revolúciu hlbokého učenia.
Kariérne úspechy
- Safe Superintelligence Inc. (2024-súčasnosť): Spoluzakladateľ
- OpenAI (2015-2024): Spoluzakladateľ a hlavný vedec
- Google Brain (2013-2015): Research Scientist
- AlexNet (2012): Spoluvynálezca s Geoffreym Hintonom a Alexom Krizhevskym
- PhD pod Geoffreym Hintonom: University of Toronto
Významné pozície
O konci éry škálovania
Sutskever verí, že čisté škálovanie dosiahlo svoj vrchol:
“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”
Je skutočné presvedčenie, že ak len 100-násobne zväčšíte škálu, všetko by sa transformovalo? Nemyslím, že je to pravda.
O výkone Eval vs realite
“Models are much more like the first student - technically brilliant but lacking the ‘it factor’ that makes for actual capability.”
Modely sú oveľa viac ako prvý študent - technicky brilantné, ale chýba im ‘to niečo’, čo tvorí skutočnú schopnosť.
O výskumnom cykle
Rámcuje históriu AI ako oscilujúce éry:
“2012-2020 was research, 2020-2025 was scaling, and now we’re returning to research.”
2012-2020 bol výskum, 2020-2025 bolo škálovanie a teraz sa vraciam e k výskumu.
Kľúčové citáty
- “Skutočné reward hacking sú ľudskí výskumníci príliš zameraní na evals.”
- “Modely generalizujú dramaticky horšie ako ľudia - je to super zrejmé.”
- “Value funkcie by mohli skratkovať problém čakania až do dokončenia.”
Súvisiace čítanie
- Generalization Gap - Základné obmedzenie, ktoré Sutskever identifikuje
- Scaling Laws - Paradigma, o ktorej hovorí, že sa končí
Video Mentions
Priepasť medzi eval a skutočnou schopnosťou
Models are like hyper-specialized competition students - 'they practiced 10,000 hours for competitive programming but lack the it factor that makes for actual capability.'
Koniec éry škálovania
Is the belief really that if you just 100x the scale everything would be transformed? I don't think that's true. We're back in the age of research.
Obmedzenia RL tréningu
The real reward hacking is human researchers who are too focused on evals.