John Schulman: ChatGPT hätte 2018 gebaut werden können

Wie John Schulman die Ursprünge der Frontier-KI-Forschung sieht

John Schulman hat OpenAI mitgegründet, PPO (den Algorithmus hinter RLHF) erschaffen und kürzlich Thinking Machines gegründet. Dieses seltene Interview bietet eine Insider-Sicht darauf, wie Frontier-KI-Forschung tatsächlich funktioniert: die Fehlstarts, die Organisationskultur, der Forschungsgeschmack, der produktive Labs vom Rest trennt. Für jeden, der KI-Teams aufbaut oder über Forschungsorganisation nachdenkt, ist dies Primärquellenmaterial.

Darüber, wie frühes ChatGPT hätte passieren können: "With full hindsight, I think you could have gotten something back in 2018 or 2019 with a few people that would get to GPT 3.5 level... nanoGPT is just programmed by one person and runs on one box." (Mit vollem Rückblick denke ich, dass man 2018 oder 2019 mit ein paar Leuten etwas hätte bekommen können, das GPT 3.5-Niveau erreicht... nanoGPT ist nur von einer Person programmiert und läuft auf einer Box.) Die Implikation: Die Barriere war Wissen und Überzeugung, nicht Compute oder Teamgröße. Eine kleine Gruppe mit den richtigen Erkenntnissen hätte es Jahre früher bauen können.

Über die Kultur des frühen OpenAI: "It was more rag tag, maybe even like an academic group... a bunch of different research projects driven by people's own taste, groups of one to three people working on something that would turn into a paper or blog post." (Es war mehr zusammengewürfelt, vielleicht sogar wie eine akademische Gruppe... ein Haufen verschiedener Forschungsprojekte, angetrieben vom eigenen Geschmack der Leute, Gruppen von ein bis drei Personen, die an etwas arbeiteten, das zu einem Paper oder Blogpost werden würde.) Die prägenden Jahre waren kein koordiniertes Moonshot-Projekt - es war explorative Forschung, die schließlich zu etwas Größerem kristallisierte.

Über das gescheiterte Universe-Projekt: "There was a project called Universe... the idea was to collect lots of video games and web navigation tasks. It ended up being unsuccessful at the time, but the funny thing is I think it was a deeply correct idea, just a decade too early." (Es gab ein Projekt namens Universe... die Idee war, viele Videospiele und Web-Navigationsaufgaben zu sammeln. Es endete damals als erfolglos, aber das Lustige ist, ich denke, es war eine zutiefst richtige Idee, nur ein Jahrzehnt zu früh.) Das Muster: Gute Ideen scheitern, wenn Voraussetzungen fehlen, dann gelingen sie, wenn sich die Bedingungen ändern.

Über Forschungsmanagement-Kompromisse: "I've seen very different approaches be successful. One model where the manager writes a lot of code, reads all their reports' code, gives detailed technical feedback. I've also seen more hands-off managers who are just sounding boards... both work in different places." (Ich habe sehr unterschiedliche Ansätze erfolgreich gesehen. Ein Modell, bei dem der Manager viel Code schreibt, den ganzen Code seiner Mitarbeiter liest, detailliertes technisches Feedback gibt. Ich habe auch mehr zurückhaltende Manager gesehen, die nur Resonanzböden sind... beide funktionieren an verschiedenen Stellen.) Explorative Forschung braucht Zurückhaltung; Ausführungsmodus braucht Hands-on. Der Kontext bestimmt den Stil.

Darüber, wie er KI für Forschung nutzt: "If I have an idea, I'll fire off a bunch of questions to GPT-5 Pro and have it do literature searches. Sometimes I'll write a paragraph and tell the model to flesh it out... definitely the literature search ability is extremely useful." (Wenn ich eine Idee habe, feuere ich einen Haufen Fragen an GPT-5 Pro ab und lasse es Literaturrecherchen machen. Manchmal schreibe ich einen Absatz und sage dem Modell, es auszuarbeiten... definitiv ist die Literaturrecherchekapazität extrem nützlich.) Sogar Top-Forscher nutzen LLMs für erste Rückmeldungen und Literaturentdeckung.

6 Erkenntnisse von John Schulman zu Forschungskultur und KI-Fortschritt

• ChatGPT hätte Jahre früher gebaut werden können - Mit vollem Rückblick hätte ein kleines Team 2018-2019 GPT-3.5-Niveau erreichen können; die Barriere war Einsicht, nicht Ressourcen
• Frühes OpenAI war akademisch geprägt - Kleine Gruppen von 1-3 Personen verfolgten ihren eigenen Forschungsgeschmack, kein koordiniertes Moonshot-Projekt; größere Projekte entstanden später
• "Richtig aber zu früh" ist ein Muster - Universe (RL-Umgebungen) war die richtige Idee ein Jahrzehnt bevor die Voraussetzungen existierten; gescheiterte Projekte kehren oft zurück
• Forschungsmanagement ist kontextabhängig - Hands-on funktioniert für Ausführung und Junior-Leute; Hands-off funktioniert für Exploration und erfahrene ICs
• Value Functions werden ein Comeback haben - Derzeit unternutzt in LLM RL, aber Schulman erwartet, dass sie zurückkehren, wenn sich Zeithorizonte verlängern
• Thinking Machines balanciert Aufholjagd mit Exploration - Neue Labs müssen den State-of-Art replizieren, während sie explorative Forschungsmuskulatur aufbauen; Kultur ist schwer später hinzuzufügen

Was das für KI-Forschungsorganisationen bedeutet

Schulmans Perspektive entmystifiziert Frontier-KI-Forschung. Die Schlüsselerkenntnis: Frühes OpenAI war kein perfekt organisiertes Moonshot-Projekt - es war explorative Forschung, die schließlich auf Skalierung konvergierte. Das ChatGPT-Kontrafaktische (2018 mit Rückblick baubar) legt nahe, dass der limitierende Faktor nicht Compute oder Teamgröße ist, sondern Wissen und Überzeugung. Für Organisationen, die KI-Forschungskapazitäten aufbauen, ist die Implikation, dass Kultur und Forschungsgeschmack mehr zählen als Ressourcen, und dass "richtige aber zu frühe" Ideen es wert sind, verfolgt zu werden, weil sich die Bedingungen schließlich ändern.