Andrej Karpathy

Acerca de Andrej Karpathy

Andrej Karpathy es uno de los investigadores y educadores más respetados de la IA. Fue miembro fundador de OpenAI, luego dirigió el equipo de visión de Autopilot de Tesla, y se ha vuelto famoso por hacer el aprendizaje profundo accesible a través de videos de YouTube y proyectos de código abierto.

Hitos de Carrera

• Eureka Labs (2024-presente): Fundador, startup de educación en IA
• Tesla (2017-2022): Director de IA, lideró visión por computadora de Autopilot
• OpenAI (2015-2017): Miembro fundador y científico de investigación
• PhD en Stanford: Estudió bajo Fei-Fei Li sobre descripción de imágenes
• nanoGPT: Creó implementación mínima de GPT para educación

Posiciones Notables

Sobre los LLMs como “Fantasmas”

El encuadre más provocativo de Karpathy:

“LLMs are ‘ethereal spirit entities’ - fully digital, mimicking humans, starting from a completely different point in the space of possible intelligences. We’re building ghosts, not animals.”

“Los LLMs son ‘entidades espirituales etéreas’ - completamente digitales, imitando a los humanos, comenzando desde un punto completamente diferente en el espacio de inteligencias posibles. Estamos construyendo fantasmas, no animales.”

Los animales evolucionaron con hardware codificado. Una cebra corre minutos después de nacer. Los LLMs emergieron de imitar texto - un proceso de optimización fundamentalmente diferente.

Sobre Líneas de Tiempo de Agentes

Una verificación de realidad sobre el hype:

“Decade of agents, not year of agents. When would you actually hire Claude as an intern? You wouldn’t today because it just doesn’t work reliably enough.”

“Década de agentes, no año de agentes. ¿Cuándo contratarías realmente a Claude como becario? No lo harías hoy porque simplemente no funciona de manera lo suficientemente confiable.”

Sobre Contexto vs Pesos

Perspectiva técnica sobre cómo funcionan los LLMs:

“The KV cache stores 320 KB per token vs 0.7 bits in weights - a 35 million fold difference. Anything in context is working memory; anything in weights is hazy recollection.”

“El caché KV almacena 320 KB por token vs 0.7 bits en pesos - una diferencia de 35 millones de veces. Cualquier cosa en contexto es memoria de trabajo; cualquier cosa en pesos es un recuerdo difuso.”

Citas Clave

• “Estamos construyendo fantasmas, no animales.”
• “Década de agentes, no año de agentes.”
• “El pre-entrenamiento es evolución de mala calidad.”

Lectura Relacionada

• Scaling Laws - El paradigma que Karpathy ayudó a establecer
• Pre-training - Lo que Karpathy llama “evolución de mala calidad”