Lukasz Kaiser

O Lukaszi Kaiserovi

Lukasz Kaiser je výzkumník hlubokého učení v OpenAI a jeden z osmi spoluautorů významného článku z roku 2017 “Attention Is All You Need”, který představil architekturu Transformer. To, co dělá Kaisera unikátním mezi “Transformerovou osmičkou”, je jeho volba: zatímco sedm jeho spoluautorů odešlo založit AI startupy (včetně Cohere, Adept a Character.AI), Kaiser zůstal inženýrem a nakonec se připojil k OpenAI v roce 2021.

V OpenAI byl Kaiser v centru nejdůležitějších průlomů společnosti. Sloužil jako vedoucí pro dlouhý kontext u GPT-4 a vedl výzkumný tým, který vyvinul modely uvažování O1—což nazývá “novým paradigmatem” zásadně odlišným od čistého škálování transformerů. Jeho oznámení na X/Twitter při spuštění O1 zachytilo tento význam: “I’m so happy to see o1 launch! Leading this research with my colleagues for almost 3 years and working on related ideas even longer convinced me: it’s a new paradigm.”

Před svou AI kariérou byl Kaiser titulárním výzkumníkem na University Paris Diderot se specializací na logiku a teorii automatů. Získal doktorát z RWTH Aachen University a magisterský titul z University of Wroclaw v Polsku. Toto zázemí formálních metod může vysvětlovat jeho zaměření na uvažování a verifikaci v AI systémech.

Kariérní milníky

• OpenAI (2021-současnost): Výzkumný vědec, vedl vývoj modelů uvažování O1/O3, vedoucí pro dlouhý kontext u GPT-4
• Google Brain (2014-2021): Staff Research Scientist, spoluautor článku o Transformeru
• University Paris Diderot: Titulární výzkumník v logice a teorii automatů
• Spoluautor: “Attention Is All You Need” (2017), TensorFlow systém, knihovny Tensor2Tensor a Trax

Významné postoje

O paradigmatu uvažování

Kaiser dělá ostrý rozdíl mezi dvěma AI paradigmaty. Původní paradigma škálování transformerů—“jen předpovídej další slovo a trénuj větší a větší model na více a více datech”—dosáhlo plató kvůli datovým omezením. Ale paradigma uvažování je zásadně odlišné:

“Reasoning models learn from another order of magnitude less data. This paradigm is so young that it’s only on this very steep path up… We’ve scaled it up a little bit but there could be way more.”

O setrvání jako inženýr

Na rozdíl od svých spoluautorů Transformeru, kteří se stali zakladateli, se Kaiser rozhodl zůstat u praktické práce:

“Welcome the… authors of the paper that says attention is all you need. Ladies and gentlemen, the only person who is still an engineer—Lukasz.”

Tato volba ho postavila do centra nejdůležitější práce OpenAI, od GPT-4 po modely uvažování.

O časové ose AGI

Kaiser nemá rád termín “AGI”, ale zdůrazňuje praktickou realitu: AI nyní může pracovat hodiny na užitečných úkolech, nejen odpovídat během sekund. Pro počítačové úkoly—klikání, psaní, programování—automatizace “přichází rychle”, zatímco fyzická robotika zůstává ve svém začátku.

Klíčové citáty

• “There is the new paradigm which is reasoning and that one is only starting. This paradigm is so young that it’s only on this very steep path up.” (o modelech uvažování)
• “I don’t think there is any winter in this sense coming. If anything, it may actually have a very sharp improvement in the next year or two—which is something to almost be a little scared of.” (o pokroku AI)
• “That’s the ultimate bottleneck—GPUs and energy.” (o omezeních)
• “It’s a new paradigm. Models that train hidden CoTs are more powerful than raw Transformers, learn from less data, generalize better.” (při spuštění O1)

Související čtení

• AI Agents - Autonomní systémy, které umožňují Kaiserovy modely uvažování
• Supervision Threshold - Kdy AI překročí od asistence k autonomii