Nathan Lambert

O Nathanovi Lambertovi

Nathan Lambert je Senior Research Scientist a vedouci post-trainingu v Allen Institute for AI (AI2), kde vede praci na projektu TULU -- jednom z mala plne otevrenych post-trainingovych pipeline pro jazykove modely. Je take autorem knihy The RLHF Book, definitivni reference o reinforcement learningu z lidske zpetne vazby, a zakladatelem newsletteru Interconnects AI.

Pred AI2 Lambert vybudoval vyzkumny tym pro RLHF v Hugging Face a prispel integracemi reinforcement learningu do siroke pouzivane knihovny Diffusers. Ma Ph.D. z UC Berkeley, kde pracoval na pruseciuku robotiky, reinforcement learningu zalozeneho na modelech a rizeni, se stazemi ve Facebook AI a DeepMind.

Lambert je jednim z nejhlasitejsich zastancu vyvoje open-source AI v USA a pravidelne pise o konkurencni dynamice mezi uzavrenymi a otevrenyma modelama a o strategickych dusledcich cinskych open-weight vydani.

Karierni milniky

• Senior Research Scientist & Post-Training Lead v AI2 (soucasnost)
• Vedl vyvoj post-trainingove pipeline TULU (aplikovana na modely Llama a OLMo)
• Drive vedouci vyzkumneho tymu RLHF v Hugging Face
• Autor knihy The RLHF Book
• Ph.D. v oboru Electrical Engineering & Computer Sciences, UC Berkeley
• Staze ve Facebook AI Research a DeepMind
• Zakladatel newsletteru Interconnects AI

Vyznamne postoje

O kulturni vyhode Anthropic

Lambert vidi uspech Anthropic s Claude Code jako kulturni fenomen, nejen technicky. Firma "pusobi jako nejmene chaoticka" z hlavnich laboratori a jejich sazka na nastroje pro kodovani vytvorila organicke nadseni komunity, ktere marketing nemuze nahradit.

O pre-trainingu vs. post-trainingu

Odmita narativ "pre-training je mrtvy" a tvrdi, ze vetsi cast vypocetniho vykonu stale smeruje do pre-trainingu a bude tomu tak i nadale, dokud se kvalita zakladniho modelu nenasyti -- v tom bode bude RL vypocet jednodusse probihat dele. Ocekava vznik predplatneho za 2 000 dolaru v roce 2026.

O cinske strategii open-weight modelu

Popisuje cinske firmy jako realisticke ohledne sve pozice: zapadni firmy nebudou platit za cinska API predplatna kvuli bezpecnostnim obavam, takze open-weight modely jsou strategickym tahem pro globalni vliv a pristup na trh. Ocekava vice tvurcu otevrenych modelu v roce 2026 nez v roce 2025, z nichz mnoho vyznamnych bude z Ciny.

O strukturalnich vyhodach Google

Tvrdi, ze Google ma historickou vyhodu v infrastrukture AI, protoze vyviji vse od shora az dolu (vlastni TPU, datova centra) bez placeni "silenych" marzi Nvidii -- cenova vyhoda, ktera se pri skalovani nasobuje.

Klicove citaty

• "The hype over Anthropic's Claude Opus 4.5 model has been absolutely insane... culturally Anthropic is known for betting very hard on code." (Hype kolem modelu Claude Opus 4.5 od Anthropic byl naprosto sileny... kulturne je Anthropic znamy tim, ze silne sazi na kod.) -- o Anthropic
• "I still think most of the compute is going in at pre-training because you can still make a model better." (Stale si myslim, ze vetsi cast vypocetniho vykonu jde do pre-trainingu, protoze model stale muzete vylepsovat.) -- o skalovani
• "US models are currently better and we use them... I try Chinese models and I'm like, fun, but I don't go back to it." (Americke modely jsou momentalne lepsi a pouzivame je... Zkousim cinske modely a rikam si, zajimave, ale nevracim se k nim.) -- o kvalite modelu

Souvisejici cteni

• Reinforcement Learning - Lambertova hlavni oblast vyzkumu
• Scaling Laws - Ustredni tema v jeho analyze pokroku AI
• AI Agents - Diskutuje vyzvu nasazeni agentu