スケーリング時代の終焉

変化

「スケールがすべて」という5年間（2020〜2025年）の後、主要なAI研究者たちは根本的な変化を示唆している。純粋なスケーリングは収穫逓減を迎えている。次のブレークスルーには、より多くの計算資源ではなく、真の研究イノベーションが必要となる。

主要なシグナル

イリヤ・サツケバーのフレームワーク

元OpenAIチーフサイエンティストは、AI歴史を振動する時代として位置づけている:

• 2012〜2020: 研究時代（ディープラーニングのブレークスルー）
• 2020〜2025: スケーリング時代（より大きいほど良い）
• 2025年以降: 研究への回帰（新しいパラダイムが必要）

“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”

スケールを100倍にすればすべてが変革されるという信念は本当だろうか？私はそうは思わない。

デミス・ハサビスの公式

Google DeepMindのCEOは、現在のアプローチを次のように説明している:

“We operate on 50% scaling, 50% innovation. Both are required for AGI.”

私たちは50%のスケーリング、50%のイノベーションで運営している。AGIにはどちらも必要だ。

彼は次のように指摘している:「指数関数的と漸近的の間には多くの余地がある」- 改善は続くが、スケーリング時代のペースではない。

なぜ今なのか

事前学習データは有限

インターネットには高品質なテキストが限られている。モデルはそのほとんどで訓練されている。より多くのデータには、合成生成または新しいモダリティが必要だ。

計算コストは莫大

訓練実行には1億ドル以上かかる。保証されたリターンがなければ、「もっとスケールするだけ」の経済性は禁止的になる。

ベンチマークの飽和

モデルは既存のベンチマークで天井に達している一方で、簡単であるはずのタスクで失敗している（「ギザギザの知性」問題）。

何が変わるか

AIラボにとって

• 研究採用の増加 - 純粋なエンジニアリングではなく、新しいアルゴリズムが必要
• アーキテクチャの実験 - Transformerが終点ではないかもしれない
• マルチモーダルと具現化AI - テキストだけではAGIに到達できないかもしれない

業界にとって

• 小規模プレーヤーが競争できる - スケールよりもイノベーションが重要
• サイズを超えた差別化 - モデルはパラメータ数ではなく、特化で競争
• アプリケーションへの焦点 - モデルが頭打ちになる中、製品がより重要に

未解決の問題

これは一時的な停滞期（GPT-3以前の2016〜2019年のような）なのか、それとも現在のアプローチの根本的な限界なのか？その答えが、AGIがスケーリング、イノベーション、またはその両方から来るかどうかを決定する。

関連資料

• Scaling Laws - 疑問視されているパラダイム
• Application Over Training - 戦略的対応
• Jagged Intelligence - スケーリングだけでは不十分な理由