Fin de l'ère de la mise à l'échelle

Le changement

Après cinq ans de “la mise à l’échelle est tout ce dont vous avez besoin” (2020-2025), les principaux chercheurs en IA signalent un changement fondamental : la pure mise à l’échelle atteint des rendements décroissants. Les prochaines percées nécessiteront une véritable innovation en recherche, pas seulement plus de calcul.

Signaux clés

Le cadre d’Ilya Sutskever

L’ancien scientifique en chef d’OpenAI présente l’histoire de l’IA comme des ères oscillantes :

• 2012-2020 : Ère de la recherche (percées en deep learning)
• 2020-2025 : Ère de la mise à l’échelle (plus grand est mieux)
• 2025+ : Retour à la recherche (nouveaux paradigmes nécessaires)

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”

“La croyance est-elle vraiment que si vous multipliez simplement l’échelle par 100, tout serait transformé ? Je ne pense pas que ce soit vrai.”

La formule de Demis Hassabis

Le PDG de Google DeepMind décrit leur approche actuelle :

“We operate on 50% scaling, 50% innovation. Both are required for AGI.”

“Nous opérons à 50% de mise à l’échelle, 50% d’innovation. Les deux sont nécessaires pour l’AGI.”

Il note : “Il y a beaucoup de place entre exponentiel et asymptotique” - les améliorations continuent, mais pas au rythme de l’ère de la mise à l’échelle.

Pourquoi maintenant ?

Les données de pré-entraînement sont finies

Internet ne contient qu’une quantité limitée de texte de haute qualité. Les modèles ont été entraînés sur la majeure partie. Plus de données nécessite une génération synthétique ou de nouvelles modalités.

Les coûts de calcul sont énormes

Les entraînements coûtent plus de 100 millions de dollars. L’économie de “juste mettre à l’échelle davantage” devient prohibitive sans retours garantis.

Saturation des benchmarks

Les modèles atteignent des plafonds sur les benchmarks existants tout en échouant encore sur des tâches qui devraient être faciles (le problème de “l’intelligence irrégulière”).

Ce qui change

Pour les laboratoires d’IA

• Les recrutements en recherche augmentent - Besoin de nouveaux algorithmes, pas seulement d’ingénierie
• Expériences architecturales - Les Transformers ne sont peut-être pas la fin de l’histoire
• IA multimodale et incarnée - Le texte seul peut ne pas nous mener à l’AGI

Pour l’industrie

• Les petits acteurs peuvent concurrencer - L’innovation compte plus que l’échelle
• Différenciation au-delà de la taille - Les modèles se différencient par la spécialisation, pas seulement les paramètres
• Focus sur les applications - Avec les modèles qui plafonnent, le produit compte davantage

La question ouverte

Est-ce un plateau temporaire (comme 2016-2019 avant GPT-3) ou une limite fondamentale des approches actuelles ? La réponse déterminera si l’AGI provient de la mise à l’échelle, de l’innovation, ou des deux.

Lectures connexes

• Lois de mise à l’échelle - Le paradigme remis en question
• Application plutôt que formation - La réponse stratégique
• Intelligence irrégulière - Pourquoi la mise à l’échelle seule ne suffit pas