O Edwin Chen
Edwin Chen je spoluzakladatel a CEO Surge AI, datové společnosti, která poskytuje tréninková data každému frontier AI labu. Společnost dosáhla $1B+ příjmů za méně než 4 roky s ~70 zaměstnanci, zcela bootstrapovaná a zisková od prvního dne.
Kariérní milníky
- Surge AI (2020-současnost): Spoluzakladatel a CEO
- $1B+ příjmy: Za méně než 4 roky, ~70 zaměstnanců
- Bootstrapovaná: Bez VC financování, zisková od prvního dne
- Klienti: Každý frontier AI lab používá Surge pro tréninková data
- Quora/Twitter: Bývalý ML engineer
Významné postoje
Proč je Claude lepší
Vkus v datech, ne objem:
“Why is Claude better at coding and writing? It’s not more data - it’s taste in what data to collect. Are you optimizing for front-end vs backend? Visual design vs efficiency? Chasing PR benchmarks or real-world performance? There’s an art to post-training that requires sophisticated judgment.”
Překlad: “Proč je Claude lepší v kódování a psaní? Není to více dat - je to vkus v tom, jaká data sbírat. Optimalizujete pro front-end vs backend? Vizuální design vs efektivitu? Honíte PR benchmarky nebo skutečný výkon? Post-training je umění, které vyžaduje sofistikované posouzení.”
K problémům benchmarků
Brutální kritika LM Arena:
“LM Arena benchmarks are literally optimizing your models for the type of people who buy tabloids at supermarkets. Users glance for 2 seconds and pick whatever looks ‘flashiest’ - more emojis, more bold text, longer responses. Models can hallucinate everything but still win if they look impressive.”
Překlad: “LM Arena benchmarky doslova optimalizují vaše modely pro typ lidí, kteří kupují bulvár v supermarketech. Uživatelé se podívají na 2 sekundy a vyberou, co vypadá ‘nejflashovější’ - více emoji, více tučného textu, delší odpovědi. Modely mohou halucinovat všechno, ale stále vyhrají, pokud vypadají působivě.”
K hlubšímu problému
“We’re teaching AI to chase dopamine instead of truth. The same engagement optimization that broke social media is now being applied to AI training. Labs know it’s bad but optimize for it anyway because sales teams need PR.”
Překlad: “Učíme AI honit dopamin místo pravdy. Stejná optimalizace engagement, která zničila sociální média, se nyní aplikuje na AI trénink. Laby vědí, že je to špatné, ale optimalizují to stejně, protože prodejní týmy potřebují PR.”
K kvalitě vs checkboxům
“Good data isn’t checkboxes - it’s ‘Nobel-prize level poetry’ vs ‘high school level that follows instructions.’ Some labs mechanically check instruction boxes; others understand the implicit, subtle qualities that make outputs actually good.”
Překlad: “Dobrá data nejsou checkboxy - je to ‘poezie na úrovni Nobelovy ceny’ vs ‘středoškolská úroveň, která následuje instrukce.’ Některé laby mechanicky checkují instrukční boxy; jiné rozumí implicitním, subtilním kvalitám, které dělají výstupy skutečně dobré.”
Klíčové citáty
- “Vkus v datech, ne objem.”
- “Optimalizace pro kupující bulváru.”
- “Učení AI honit dopamin.”
Související články
- Scaling Laws - Co Surge data umožňují
- Dario Amodei - CEO Anthropic, klient Surge
Video Mentions
Proč je Claude lepší
Proč je Claude lepší v kódování a psaní? Není to více dat - je to vkus v tom, jaká data sbírat. Optimalizujete pro front-end vs backend? Vizuální design vs efektivitu? Honíte PR benchmarky nebo skutečný výkon?
Kritika benchmarků
LM Arena benchmarky doslova optimalizují vaše modely pro typ lidí, kteří kupují bulvár v supermarketech. Uživatelé se podívají na 2 sekundy a vyberou, co vypadá 'nejflashovější' - více emoji, více tučného textu, delší odpovědi.
Dopamin vs pravda
Učíme AI honit dopamin místo pravdy. Stejná optimalizace engagement, která zničila sociální média, se nyní aplikuje na AI trénink.