Jagged Intelligence

Définition

L’intelligence irrégulière (jagged intelligence) décrit le profil de capacité incohérent des systèmes d’IA actuels - où les modèles peuvent performer au niveau doctorat sur certaines tâches tout en échouant à des défis de niveau lycée dans d’autres domaines.

Pourquoi c’est important

Le terme, popularisé par Demis Hassabis, capture une barrière centrale à l’AGI : le manque de cohérence. Un système AGI devrait être fiable à travers tous les domaines, mais les modèles actuels montrent des écarts de capacité dramatiques.

Exemples

• GPT-4 peut gagner l’or aux Olympiades internationales de mathématiques mais échoue à des énigmes logiques simples
• Les modèles peuvent analyser de la philosophie complexe mais ont du mal avec un jeu d’échecs cohérent
• Claude peut écrire du code sophistiqué mais pourrait manquer des bugs évidents

Insight clé

“You would expect from an AGI system that it would be consistent across the board.” — Demis Hassabis

“Vous attendriez d’un système AGI qu’il soit cohérent dans tous les domaines.”

Le profil irrégulier suggère que les architectures actuelles ont des limitations fondamentales - elles ne sont pas uniformément intelligentes, mais ont plutôt des pics et des vallées de capacité.

Implications

Pour les chercheurs : Les benchmarks qui testent un domaine ne prédisent pas la performance dans d’autres Pour les utilisateurs : Ne supposez pas que la capacité dans un domaine se transfère à un autre Pour l’AGI : Résoudre l’intelligence irrégulière peut nécessiter des changements architecturaux, pas seulement de la mise à l’échelle

Termes connexes

• World Models - Une solution proposée pour une capacité plus uniforme
• Generalization - Le problème sous-jacent