Ilya Sutskever sobre por qué los modelos aún no pueden generalizar como los humanos

Perspectiva

Este es Ilya Sutskever en su momento más reflexivo - sentándose con Dwarkesh Patel para una conversación profunda sobre lo que realmente falta en los sistemas de IA actuales. Sin anuncios de productos, sin hype - solo dos personas lidiando con las preguntas científicas centrales.

La desconexión entre evaluaciones y la realidad es el puzzle central. Los modelos ganan medallas de oro en la Olimpiada Internacional de Matemáticas pero no pueden reparar confiablemente un error sin reintroducir el anterior. La explicación de Ilya es perspicaz: el entrenamiento con RL está demasiado optimizado de manera estrecha. Los equipos miran las evaluaciones, construyen entornos que apunten a esas evaluaciones, y terminan con el equivalente a un estudiante que practicó 10,000 horas para programación competitiva - técnicamente brillante pero sin el "factor X" que hace una capacidad real. "Los modelos son mucho más como el primer estudiante pero incluso más."

La perspectiva de pre-entrenamiento está subestimada. Cuando haces pre-entrenamiento, no tienes que elegir datos - simplemente tomas todo. Pero el entrenamiento con RL requiere elegir entornos, y esas elecciones a menudo son reverse-engineered a partir de benchmarks. "El verdadero reward hacking son los investigadores humanos que están demasiado enfocados en las evaluaciones."

Estamos de vuelta en la era de la investigación. Ilya enmarca la historia de la IA como oscilando entre eras: 2012-2020 fue investigación, 2020-2025 fue escalado, y ahora - con el compute tan caro y datos de pre-entrenamiento finitos - estamos volviendo a la investigación. "¿Es la creencia realmente que si solo escalas 100x todo sería transformado? No creo que eso sea cierto."

Las funciones de valor podrían ser la clave. La conversación sigue volviendo a cómo aprenden los humanos - adolescentes conduciendo después de 10 horas, investigadores absorbiendo estilos de pensamiento de mentores. Ilya señala el caso de un paciente con accidente cerebrovascular que perdió el procesamiento emocional y se volvió incapaz de tomar decisiones. Las emociones podrían ser una función de valor programada por la evolución. El RL actual no tiene nada comparable - no obtienes una señal de aprendizaje hasta que completas una tarea y la calificas.

El problema de generalización es fundamental. Los modelos generalizan "dramáticamente peor que las personas" y es "súper obvio". Incluso en dominios sin un antecedente evolutivo (matemáticas, codificación), los humanos aprenden más rápido y de manera más robusta. Esto sugiere algo más allá de simplemente necesitar más datos o compute.

Puntos Clave

• Rendimiento en evaluaciones ≠ capacidad real - Los modelos son como estudiantes de competencia hiper-especializados; carecen de gusto general y juicio
• El entrenamiento con RL crea el problema - Los equipos optimizan para evaluaciones, produciendo capacidad estrecha en lugar de general
• Estamos de vuelta en la era de la investigación - El escalado solo no transformará la capacidad; se necesitan avances fundamentales
• Las funciones de valor son poco exploradas - Podrían cortocircuitar el problema de "esperar hasta completar la tarea" en RL
• Las emociones humanas pueden ser funciones de valor programadas - La evolución nos dio señales robustas de toma de decisiones que los modelos carecen
• La brecha de generalización es fundamental - Los humanos aprenden más rápido y de manera más robusta incluso en dominios no evolutivos
• Los datos de pre-entrenamiento son finitos - La era del "simplemente escala más" está terminando; se requieren nuevas recetas

Perspectiva General

La era de escalado que definió la IA desde 2020-2025 puede estar terminando. El siguiente avance no vendrá de modelos más grandes - vendrá de resolver el problema de generalización que hace que la IA actual se sienta como un pasante brillante pero poco confiable en lugar de un colega de confianza.