Inside Anthropic: Ako sa bezpečnosť stala obchodným modelom

Ako spoluzakladatelia Anthropic premenili bezpečnosť AI na konkurenčnú výhodu

V zriedkavej rozhovore si sadajú podľa ohňa spoluzakladatelia Anthropic — Dario Amodei (CEO), Daniela Amodei (prezidentka), Chris Olah a Jared Kaplan — aby diskutovali o tom, prečo spoločnosť založili, ako bezpečnosť poháňa každé rozhodnutie a prečo sa Responsible Scaling Policy (RSP) stala ich určujúcim dokumentom.

Prečo musela Anthropic vzniknúť: "We just felt like it was our duty." Spoluzakladatelia opisujú moment, keď ostávanie v OpenAI už nebol životaschopný. Po práci na GPT-2 a GPT-3 sa jasne ukázala trajektória škálovania — a s ňou aj urgentnosť budovania bezpečnosti do procesu namiesto jeho pripevňovania neskôr.

O kultúre, ktorá to umožňuje: "It's because of low ego." Daniela Amodei pripisuje neobyklejnú súdržnosť spoločnosti zámernému filosofii pri najímaní, ktorú nazývajú "keeping out the clowns" — uprednostňovanie ľudí, ktorí sú technicky skvelí a zároveň skutočne kooperatívni. Výsledkom je kultúra, kde bezpečnostné tímy a produktové tímy nie sú vo vzájomnom konflikte, ale sú vyrovnané.

O RSP ako organizačnom kostri: "It's like the holy document for Anthropic." Responsible Scaling Policy — framework Anthropic pre meranie prahov kapacity AI a spúšťanie bezpečnostných požiadaviek — prešla viac návrhmi ako akýkoľvek iný interný dokument. Vytvára jasné právomoci: na každej úrovni kapacity musia byť splnené špecifické bezpečnostné opatrenia pred nasadením.

O evalváciách poháňajúcich všetko: "Evals, evals, evals. Every team produces evals." Jared Kaplan popisuje, ako sa evalvácia stala vstanou v pracovnom postupe každého tímu — nie len bezpečnostného tímu. Inžinieri pracujúci na odvodení hovoria o bezpečnosti. Produktové tímy vstavajú evalvácie do svojho plánovacieho procesu. Toto nie je úloha samostatného oddelenia; je to celoľudská schopnosť.

O interpretovateľnosti ako dlhodobej stratégii: Práca Chrisa Olaha na mechanistickej interpretovateľnosti — porozumení tomu, čo sa skutočne deje vo vnútri neurónových sietí — predstavuje najhlbšiu stávku Anthropic. Namiesto toho, aby tímy považovali modely za čierne skrinky, začínajú odhaľovať, ako tieto systémy skutočne premýšľajú, čo má implikácie pre bezpečnosť aj schopnosti.

6 poznatkov od spoluzakladateľov Anthropic o bezpečnosti ako prvej priorite

• Bezpečnosť je obchodný model, nie obmedzenie — Zákazníci nechcú modely, ktoré sa dajú ľahko prelomiť alebo ktoré halucináciami. Bezpečnostný výskum priamo zlepšuje kvalitu produktu, čím sa vytvára "preteky k vrchu", kde sú konkurenti motivovaní zladiť sa so štandardami Anthropic.
• RSP vytvára zdravé pobidnutia — Zverejnením špecifických prahov kapacity a zodpovedajúcich bezpečnostných požiadaviek robí Anthropic svoje záväzky čitateľnými pre zamestnancov, zákazníkov, regulátorov a konkurentov. Ostatné laboratóriá odvtedy prijali podobné rámce.
• Constitutional AI sa narodila z iterácie — Myšlienka dať modelom súbor princípov namiesto spoľahania sa len na ľudskú spätnú väzbu prešla rozsiahlou redakciou. Začala ako cvičenie budovania konsenzu a stala sa jednou z kľúčových techník zarovnania Anthropic.
• Kultúra sa rozširuje cez jasnosť poslania — So stovkami zamestnancov pripisujú spoluzakladatelia jednotu faktu, že všetci zdieľajú rovnaké poslanie. Ľudia sa často pripájajú, pretože im záleží na bezpečnosti, nie napriek nej.
• Interpretovateľnosť by mohla byť hodná Nobela — Dario Amodei verejne uviedol, že práca Chrisa Olaha na interpretovateľnosti by mohla viesť k budúcej Nobelovej cene za medicínu, pričom robil paralely s tým, ako porozumenie neurónových sietí by mohlo odomknúť prielomy v biologickom výskume.
• Claude pre prácu je videním — Tím vyjadrila vzrušenie z toho, že Claude sa stáva nástrojom, ktorý môže skutočne pomôcť s profesionálnymi úlohami — od kódovania po výskum po biológiu — čím AI robí užitočnou spôsobmi, ktoré sú bezpečné, spoľahlivé a dôveryhodné.

Čo to znamená pre organizácie staviajúce s AI

Spoluzakladatelia Anthropic robia presvedčivý prípad, že bezpečnosť nie je opakom schopnosti — je to cesta k nej. Pre organizácie hodnotia partnerov AI, lekcia je jasná: spoločnosti, ktoré investujú najhlbšie do porozumenia tomu, ako ich modely fungujú, sú aj tými, ktoré stavajú najspoľahlivejšie produkty. Framework RSP ponúka šablónu pre to, ako ktorákoľvek organizácia môže myslieť na správu AI — nie ako na byrokračnú réžiu, ale ako na konkurenčnú výhodu, ktorá buduje dôveru so zákazníkmi, regulátormi a zamestnancami.