Yoshua Bengio: Máme 2 roky, než se všechno změní

Perspektiva

Yoshua Bengio je jedním ze tří původních "kmotrů AI" vedle Geoffreyho Hintona a Yanna LeCuna - trojice, která vyhrála Turingovu cenu za jejich práci na deep learningu. Je nejcitovanějším vědcem na Google Scholar. Když mluví o AI rizicích, není to z postranní linie.

Rámování "2 roky" odráží Bengiův názor, že okno pro ustanovení smysluplné governance se rychle uzavírá. Tento dlouhý rozhovor v Diary of a CEO pokrývá celé spektrum jeho obav: agentická AI vyvíjející cíle, které nemůžeme kontrolovat, autonomní zbraně stávající se nevyhnutelnými, a kybernetický zločin a hrozby deepfake "již se odvíjejí."

Regulační mezera je drastická: "AI regulace je momentálně slabší než zákony o bezpečnosti potravin." Bengio argumentuje, že jsme vybudovali systémy pro zajištění, že nás jídlo nezabije, ale nemáme nic srovnatelného pro AI systémy, které by mohly způsobit daleko více škod. Srovnání je záměrně provokativní - důvěřujeme AI laboratořím, aby se samoregulovali způsoby, jakými bychom nikdy nedůvěřovali výrobcům potravin.

Ohledně agentické AI konkrétně, Bengio vidí posun od chatbotů k agentům jako kritický inflexní bod. Systémy, které mohou podnikat akce, sledovat cíle a operovat autonomně, zavádějí rizika, která statické modely nepředstavují. "Tyto systémy mohou vyvinout cíle nesouladné s lidskými záměry" - a čím schopnější se stanou, tím těžší je nesoulad detekovat a opravit.

Nekritizuje jen - buduje. Bengio založil LawZero, neziskovou organizaci zaměřenou na bezpečné a lidsky souladné AI systémy. Rozhovor se dotýká psychologie AI CEO - proč staví systémy, o kterých soukromě přiznávají, že by mohly být nebezpečné - a co by řekl Samu Altmanovi přímo.

Pro organizace nasazující AI, Bengiovy segmenty o vytěsňování pracovních míst jsou obzvláště relevantní: "Pracovní místa jsou již nahrazována alarmujícím tempem." Diskutuje, jaké dovednosti budou záležet v transformovaném trhu práce a proč adaptace musí probíhat jak na individuální, tak na politické úrovni.

Klíčové poznatky

• Okno governance se uzavírá - Máme zhruba 2 roky na ustanovení smysluplné AI regulace předtím, než schopnosti předběhnou dohled
• Regulační mezera je závažná - AI dohled je slabší než standardy bezpečnosti potravin; žádné srovnatelné testování nebo odpovědnost
• Agentická AI mění rizikový profil - Systémy, které sledují cíle autonomně, mohou vyvinout nesouladné cíle
• Vytěsňování pracovních míst se zrychluje - Již se děje ve velkém měřítku, vyžadující jak politickou intervenci, tak individuální adaptaci
• Výzkumníci bezpečnosti staví, ne jen varují - LawZero a podobná úsilí směřují k vytvoření technických řešení vedle governance

Celkový obraz

Nejcitovanější AI vědec zní poplach ne jako luddita, ale jako někdo, kdo pomohl vytvořit technologii. Jeho sdělení: okno pro ustanovení governance je měřeno v letech, ne dekádách. Posun k agentické AI - systémy, které jednají spíše než jen reagují - vytváří nová rizika, která současné regulační rámce nejsou navrženy adresovat.