Fin de la Era del Escalamiento
El Retorno al Progreso de IA Impulsado por Investigación
El Cambio
Después de cinco años de “escalar es todo lo que necesitas” (2020-2025), los investigadores líderes de IA están señalando un cambio fundamental: el escalamiento puro está alcanzando rendimientos decrecientes. Los próximos avances requerirán innovación genuina en investigación, no solo más cómputo.
Señales Clave
Marco de Ilya Sutskever
El ex Científico Jefe de OpenAI enmarca la historia de la IA como eras oscilantes:
- 2012-2020: Era de investigación (avances en aprendizaje profundo)
- 2020-2025: Era de escalamiento (más grande es mejor)
- 2025+: Retorno a la investigación (se necesitan nuevos paradigmas)
“Is the belief really that if you just 100x the scale everything would be transformed? I don’t think that’s true.”
¿Es realmente la creencia de que si simplemente multiplicas por 100 la escala todo se transformaría? No creo que eso sea cierto.
Fórmula de Demis Hassabis
El CEO de Google DeepMind describe su enfoque actual:
“We operate on 50% scaling, 50% innovation. Both are required for AGI.”
Operamos con 50% de escalamiento, 50% de innovación. Ambos se requieren para AGI.
Señala: “Hay mucho espacio entre exponencial y asintótico” - las mejoras continúan, pero no al ritmo de la era del escalamiento.
¿Por Qué Ahora?
Los Datos de Pre-entrenamiento Son Finitos
El internet contiene solo cierta cantidad de texto de alta calidad. Los modelos han sido entrenados con la mayor parte. Más datos requieren generación sintética o nuevas modalidades.
Los Costos de Cómputo Son Enormes
Las ejecuciones de entrenamiento cuestan más de $100M. La economía de “simplemente escalar más” se vuelve prohibitiva sin retornos garantizados.
Saturación de Benchmarks
Los modelos están alcanzando techos en benchmarks existentes mientras siguen fallando en tareas que deberían ser fáciles (el problema de la “inteligencia irregular”).
Qué Cambia
Para Laboratorios de IA
- Aumentan las contrataciones de investigación - Se necesitan algoritmos novedosos, no solo ingeniería
- Experimentos arquitectónicos - Los transformers pueden no ser el punto final
- IA multimodal y encarnada - Solo texto puede no llevarnos a AGI
Para la Industria
- Los jugadores más pequeños pueden competir - La innovación importa más que la escala
- Diferenciación más allá del tamaño - Los modelos compiten en especialización, no solo en parámetros
- Enfoque en aplicaciones - Con modelos estancados, el producto importa más
La Pregunta Abierta
¿Es esto una meseta temporal (como 2016-2019 antes de GPT-3) o un límite fundamental de los enfoques actuales? La respuesta determinará si AGI viene del escalamiento, la innovación, o ambos.
Lectura Relacionada
- Leyes de Escalamiento - El paradigma que se está cuestionando
- Aplicación Sobre Entrenamiento - La respuesta estratégica
- Inteligencia Irregular - Por qué escalar solo no es suficiente
Expert Mentions
Ilya Sutskever
¿Es realmente la creencia de que si simplemente multiplicas por 100 la escala todo se transformaría? No creo que eso sea cierto. Estamos de vuelta en la era de la investigación.
Demis Hassabis
Hay mucho espacio entre exponencial y asintótico. Operamos con 50% de escalamiento, 50% de innovación. Ambos se requieren para AGI.