Stuart Russell : Les PDG de l'IA jouent a la roulette russe avec l'humanite

Pourquoi l’avertissement de Stuart Russell a du poids

C’est une interview remarquable qui va bien au-dela du discours typique sur l’apocalypse IA. Stuart Russell - qui a litteralement ecrit le manuel qui a forme la plupart des PDG IA actuels - livre le temoignage d’initie le plus accablant de la situation de la securite IA que j’ai rencontre. Sa credibilite est singuliere : 40 ans comme professeur a Berkeley, OBE de la Reine Elizabeth, voix la plus influente en IA selon Time Magazine, et relations personnelles avec les leaders qui menent la course a l’IA.

La revelation la plus frappante est sa conversation avec un PDG IA leader anonyme qui voit un “desastre a l’echelle de Tchernobyl” comme le meilleur scenario possible - parce que seulement alors les gouvernements reguleraient. L’alternative ? Perte totale de controle. Russell rapporte que les PDG sont “conscients des risques” mais sentent qu’ils “ne peuvent pas echapper a cette course” - s’ils reculent, les investisseurs les remplaceraient instantanement. L’imperatif commercial l’emporte sur la conviction personnelle.

Russell cadre la situation avec une clarte brutale a travers son “probleme du gorille” : il y a quelques millions d’annees, les humains se sont separes des gorilles. Maintenant les gorilles n’ont aucun mot a dire sur leur existence continue parce que nous sommes plus intelligents. L’intelligence est “le facteur le plus important pour controler la planete Terre”. Nous construisons quelque chose de plus intelligent que nous. La conclusion logique s’ecrit d’elle-meme.

Les chiffres que Russell cite sont stupefinants. Les budgets AGI l’an prochain atteindront 1 000 milliards $ - 50x le Projet Manhattan. Dario Amodei estime le risque d’extinction a 25%. Elon Musk dit 30%. Sam Altman a dit que l’AGI est “le plus grand risque pour l’existence humaine”. Pourtant ces memes personnes continuent a construire. L’evaluation de Russell : “Ils jouent a la roulette russe avec chaque etre humain sur Terre, sans notre permission.”

Son seul espoir : construire des systemes IA dont le seul but est de servir les interets humains, avec des preuves mathematiques de securite. Il travaille la-dessus depuis une “epiphanie” a Paris en 2013. Mais le paradigme actuel - des systemes que nous ne comprenons pas, entraines en ajustant un trillion de parametres a travers des quintillions d’ajustements aleatoires - n’offre pas de telles garanties.

4 enseignements de Russell sur le risque existentiel de l’IA

• Un PDG IA leader a dit a Russell qu’un desastre IA a l’echelle de Tchernobyl est le “meilleur scenario” parce que ca forcerait enfin la regulation gouvernementale - l’alternative est la perte complete de controle
• Le “probleme du gorille” de Russell : les gorilles se sont separes des humains evolutivement et n’ont maintenant aucun mot a dire sur leur existence ; nous creons quelque chose qui nous met dans la position du gorille
• Les systemes IA actuels sont fondamentalement opaques - la metaphore de Russell : une cloture grillagee couvrant tout Londres avec les lumieres eteintes, ou nous ajustons un trillion de connexions a travers des quintillions de modifications aleatoires jusqu’a ce que les sorties semblent correctes
• Sam Altman a recemment dit “nous avons peut-etre deja passe l’horizon des evenements” pour le decollage de l’IA - Russell interprete cela comme etre piege dans l’attraction gravitationnelle vers l’AGI avec la force se renforcant a mesure qu’on approche