Stuart Russell: AI CEO hrají ruskou ruletu s lidstvem

Proč varování Stuarta Russella nese váhu

Toto je pozoruhodný rozhovor, který jde daleko za typický AI doomer diskurz. Stuart Russell - který doslova napsal učebnici, na které se většina současných AI CEO školila - přináší nejzničující insiderský účet situace AI bezpečnosti, na jaký jsem narazil. Jeho důvěryhodnost je singulární: 40 let jako profesor Berkeley, OBE od královny Alžběty, Time magazine ho označil za nejvlivnější hlas v AI, a osobní vztahy s lídry ženoucími AI závod.

Nejpozoruhodnější odhalení je jeho konverzace s nejmenovaným vedoucím AI CEO, který vidí “katastrofu Černobylského měřítka” jako nejlepší scénář - protože teprve pak by vlády regulovaly. Alternativa? Totální ztráta kontroly. Russell reportuje, že CEO jsou “si vědomi rizik”, ale cítí, že “nemohou uniknout tomuto závodu” - pokud ustoupí, investoři by je okamžitě nahradili. Komerční imperativ převažuje osobní přesvědčení.

Russell rámuje situaci s brutální jasností skrze svůj “gorilí problém”: před pár miliony lety se lidé oddělili od goril. Nyní gorily nemají žádné slovo ve své další existenci, protože jsme chytřejší. Inteligence je “jediný nejdůležitější faktor k ovládání planety Země.” Budujeme něco inteligentnějšího než my. Logický závěr se píše sám.

Čísla, která Russell cituje, jsou ohromující. Rozpočty AGI příští rok dosáhnou $1 bilionu - 50x Manhattan Project. Dario Amodei odhaduje 25% riziko extinkce. Elon Musk říká 30%. Sam Altman řekl, že AGI je “největší riziko pro lidskou existenci.” Přesto tito samí lidé pokračují ve stavění. Russellovo hodnocení: “Hrají ruskou ruletu s každou lidskou bytostí na Zemi, bez našeho svolení.”

Jeho jedna naděje: budování AI systémů, jejichž jediným účelem je prosazovat lidské zájmy, s matematickými důkazy bezpečnosti. Pracuje na tom od “epifanie” v Paříži v roce 2013. Ale současné paradigma - systémy, kterým nerozumíme, trénované upravováním bilionu parametrů skrze kvintiliony náhodných úprav - nenabízí žádné takové záruky.

4 postřehy od Russella o existenčním riziku AI

• Vedoucí AI CEO řekl Russellovi, že AI katastrofa Černobylského měřítka je “nejlepší scénář”, protože by konečně vynutila vládní regulaci - alternativou je kompletní ztráta kontroly
• Russellův “gorilí problém”: gorily se evoluučně oddělily od lidí a nyní nemají žádné slovo ve své existenci; vytváříme něco, co nás staví do pozice gorily
• Současné AI systémy jsou fundamentálně neprůhledné - Russellova metafora: pletivo z řetízků pokrývající celý Londýn se zhasnutými světly, kde upravujeme bilion spojení skrze kvintiliony náhodných úprav, dokud výstupy nevypadají správně
• Sam Altman nedávno řekl “možná jsme již za horizontem událostí” pro AI takeoff - Russell interpretuje toto jako bytí uvězněn v gravitační přitažlivosti směrem k AGI, přičemž síla sílí, jak se přibližujeme