Nathan Lambert

Über Nathan Lambert

Nathan Lambert ist Senior Research Scientist und Post-Training-Leiter am Allen Institute for AI (AI2), wo er die Arbeit an TÜLU leitet — einer der wenigen vollständig offenen Post-Training-Pipelines für Sprachmodelle. Er ist außerdem Autor von The RLHF Book, dem maßgeblichen Nachschlagewerk über Reinforcement Learning from Human Feedback, und Gründer des Interconnects AI-Newsletters.

Vor AI2 baute Lambert das RLHF-Forschungsteam bei Hugging Face auf und steuerte Reinforcement-Learning-Integrationen zur weit verbreiteten Diffusers-Bibliothek bei. Er promovierte an der UC Berkeley, wo er an der Schnittstelle von Robotik, modellbasiertem Reinforcement Learning und Steuerung arbeitete, mit Praktika bei Facebook AI und DeepMind.

Lambert ist einer der aktivsten Befürworter von Open-Source-KI-Entwicklung in den USA und schreibt regelmäßig über die Wettbewerbsdynamik zwischen geschlossenen und offenen Modellen sowie die strategischen Implikationen chinesischer Open-Weight-Veröffentlichungen.

Karriere-Highlights

• Senior Research Scientist & Post-Training-Leiter bei AI2 (aktuell)
• Leitete die Entwicklung der TÜLU Post-Training-Pipeline (angewendet auf Llama- und OLMo-Modelle)
• Ehemaliger RLHF Research Team Lead bei Hugging Face
• Autor von The RLHF Book
• Ph.D. in Electrical Engineering & Computer Sciences, UC Berkeley
• Praktika bei Facebook AI Research und DeepMind
• Gründer des Interconnects AI-Newsletters

Bemerkenswerte Positionen

Zum kulturellen Vorteil von Anthropic

Lambert sieht Anthropics Erfolg mit Claude Code als kulturelles Phänomen, nicht nur als technisches. Das Unternehmen "präsentiert sich als das am wenigsten chaotische" der großen Labs, und ihre Wette auf Code-Tooling hat eine organische Community-Begeisterung erzeugt, die Marketing nicht replizieren kann.

Zu Pre-Training vs. Post-Training

Widerspricht der Erzählung, dass "Pre-Training tot ist", und argumentiert, dass der Großteil der Rechenleistung weiterhin ins Pre-Training fließt und dies auch weiterhin tun wird, bis die Qualität der Basismodelle gesättigt ist — an welchem Punkt die RL-Rechenleistung einfach länger laufen wird. Erwartet, dass 2026 Abonnement-Stufen für 2.000 Dollar entstehen.

Zu Chinas Open-Weight-Strategie

Beschreibt chinesische Unternehmen als realistisch in Bezug auf ihre Position: Westliche Unternehmen werden aufgrund von Sicherheitsbedenken nicht für chinesische API-Abonnements bezahlen, daher sind Open-Weight-Modelle ein strategischer Zug für globalen Einfluss und Marktzugang. Er erwartet 2026 mehr Open-Model-Entwickler als 2025, wobei viele bemerkenswerte aus China kommen werden.

Zu Googles strukturellen Vorteilen

Argumentiert, dass Google einen historischen Vorteil in der KI-Infrastruktur hat, da sie alles von oben bis unten selbst entwickeln (eigene TPUs, Rechenzentren) ohne Nvidias "wahnsinnige" Margen zu bezahlen — ein Kostenvorteil, der sich in großem Maßstab potenziert.

Wichtige Zitate

• "The hype over Anthropic's Claude Opus 4.5 model has been absolutely insane... culturally Anthropic is known for betting very hard on code." (Der Hype um Anthropics Claude Opus 4.5-Modell war absolut wahnsinnig... kulturell ist Anthropic dafür bekannt, massiv auf Code zu setzen.) — über Anthropic
• "I still think most of the compute is going in at pre-training because you can still make a model better." (Ich denke immer noch, dass der Großteil der Rechenleistung ins Pre-Training fließt, weil man ein Modell immer noch besser machen kann.) — über Scaling
• "US models are currently better and we use them... I try Chinese models and I'm like, fun, but I don't go back to it." (US-Modelle sind derzeit besser und wir nutzen sie... Ich probiere chinesische Modelle und denke, lustig, aber ich kehre nicht dazu zurück.) — über Modell-Qualität

Weiterführende Lektüre

• Reinforcement Learning - Lamberts Kernforschungsgebiet
• Scaling Laws - Zentral für seine Analyse des KI-Fortschritts
• AI Agents - Diskutiert die Herausforderung beim Agent-Einsatz