Andrej Karpathy, cofundador de OpenAI y actualmente en Anthropic, dividió en cuatro grupos a los usuarios de los grandes modelos de lenguaje (LLM) y señaló que cada vez hay más diferencias en la percepción de las capacidades de la IA. Por esas mismas fechas, Tariq Shihipar, de Anthropic, habló en un pódcast sobre cómo usar Claude Code, la herramienta de desarrollo, sus futuras funciones y las medidas de seguridad para los agentes.
Aunque todos miren la misma IA, cada cual ve algo distinto
¿La IA es una extensión de los buscadores o alguien a quien se puede confiar un trabajo entero? La clasificación en cuatro grupos que Karpathy presentó en X expresa en cifras esta discrepancia.
El grupo más numeroso, unos 6.000 millones de personas —alrededor del 75 % de la población mundial—, apenas ha tenido contacto con los LLM. A continuación figuran entre 1.000 y 2.000 millones de personas que utilizan servicios de chat gratuitos como alternativa a los buscadores o como ayuda para redactar.
El tercer grupo lo forman unos 20 millones de personas que utilizan los modelos más avanzados en trabajos de matemáticas o programación. Representan alrededor del 0,2 % de la población mundial. En el nivel más alto hay unas 5.000 personas con acceso a los sistemas más avanzados de sus empresas, lo que equivale aproximadamente al 0,00006 %. Todas son estimaciones de Karpathy, no estadísticas basadas en estudios.
Lo interesante es que las diferencias entre grupos no dependen únicamente de cuánto sabe cada cual. Karpathy escribe que quienes desempeñan profesiones centradas en la interacción con otras personas, como los directivos, pueden entender intelectualmente los avances de la IA, pero les cuesta ir más allá de lo que les cuentan. La palabra «IA» significa cosas distintas para quienes la utilizan directamente y para quienes solo oyen hablar de ella.
Un trabajo que llevaba semanas empieza a ejecutarse con una sola instrucción
Como ejemplo del cambio que experimentan los profesionales del tercer grupo, Karpathy menciona el desarrollo de aplicaciones nuevas, su reproducción y migración, y la descompilación a partir de archivos binarios. Según explica, tareas de gran envergadura que antes llevaban de varias semanas a varios meses ahora las completan los agentes con una sola instrucción. Un agente es una IA que no solo responde preguntas, sino que también utiliza herramientas y lleva a cabo por sí misma varios pasos.
El propio Karpathy también cambió de opinión rápidamente: en octubre de 2024 describió a los agentes de IA como «poco más que publicidad y que apenas funcionan». Unos meses después, afirmó que había dejado de escribir código a mano.
Lo que ven las aproximadamente 5.000 personas del nivel más alto va aún más lejos. Se plantea, por ejemplo, que miles de agentes trabajen durante semanas en proyectos de desarrollo de software a gran escala. Según Karpathy, lo que se ve desde fuera no es más que un tráiler de lo que está por venir.
Los avances se concentran en ámbitos fáciles de verificar
Karpathy afirma que los LLM destacan especialmente en ámbitos «digitales, cuyos resultados se pueden verificar y de gran valor económico». En tareas cuya respuesta puede evaluarse mecánicamente, es más fácil mejorar el rendimiento mediante el aprendizaje por refuerzo, y las empresas también destinan recursos de entrenamiento a sectores rentables. En la actualidad, los ejemplos más claros son la programación y las matemáticas.
El CEO de OpenAI, Sam Altman, también afirmó en la reunión ministerial de innovación del G20 celebrada a principios de septiembre que las herramientas de programación actuales pueden hacer en 17 minutos algo que una startup tardó tres meses en crear.
La comprensión humana empieza a quedarse atrás
Karpathy también señaló que la capacidad humana para comprobar y comprender empieza a quedarse rezagada. Como ejemplos, mencionó que hay gente que sigue analizando acontecimientos relacionados con OpenAI ocurridos hace unos meses y que los matemáticos tardarán un tiempo en leer los 722 manuscritos sobre matemáticas de frontera.
Para el público general, la IA parece un «chatbot torpe»; para muchos profesionales, una «mejora moderada»; y para algunos expertos, un «vértigo ante una curva que se dispara verticalmente». Karpathy llama «la extrañeza del momento actual» a esta situación en la que las tres percepciones avanzan a la vez. Más detalles enThe Decoderinforma.
La diferencia en el manejo se nota en cómo se dan las instrucciones
Cuanto más se amplía el abanico de tareas que se pueden delegar, más se pone a prueba la habilidad de las personas. Tariq Shihipar, de Anthropic, dijo en el pódcast «Latent Space» que saber redactar instrucciones sigue siendo una habilidad muy útil para trabajar con Claude Code. Según explicó, los usuarios expertos tienen un modelo intuitivo de Claude y saben distinguir hasta dónde puede llegar con una sola instrucción.
En la conversación también se señaló que, a medida que los agentes se vuelven más inteligentes, cobra importancia saber qué es lo que uno no sabe. También se habló de cómo dedicar tiempo a la explicación inicial puede cambiar mucho el resultado.
Si cambiamos de perspectiva, dar instrucciones a la IA se parece cada vez menos a aprender a manejar una herramienta y más a diseñar un trabajo. Qué crear, qué priorizar y hasta dónde comprobarlo. Lo que las personas dejen sin decidir acabará completándolo la IA tomando algún tipo de decisión.
Claude Code pasa de herramienta a espacio de trabajo
En la conversación se abordaron varias funciones que podrían definir el futuro de Claude Code. La principal es Claude Mods, que permite a los usuarios modificar el propio arnés (la estructura que sirve de base para ejecutar agentes). El 14 de septiembre, Boris Cherny, de la compañía, anunció en X que Mods ya estaba disponible; también llamó la atención un mod creado por la comunidad que incluía una versión de Tetris.
También se habló de Ask User Question, que devuelve preguntas al usuario durante el trabajo; de una función para guardar notas durante la implementación, y de Artifacts, descrita como una pantalla que permite seguir trabajando sin perder los planes ni el progreso. Cuando varios agentes trabajan en paralelo, basta con leer el chat de arriba abajo para perder de vista el conjunto. Una pantalla que permite consultar de un vistazo el avance sirve de punto de contacto para que las personas puedan supervisar el trabajo.
En cuanto al trabajo colaborativo, se mencionó Claude Tag, que permite a varias personas trabajar con agentes. Projects es una función que permite a Claude dividir el trabajo en hilos dentro de una conversación, ejecutarlos en paralelo en la nube y avanzar transfiriendo el contexto entre ellos. El 17 de septiembre comenzó su beta en las versiones de escritorio y web para algunos usuarios.
También se habló de una arquitectura que distingue entre el «cerebro» en la nube, que toma las decisiones, las «manos» que trabajan en el dispositivo o en entornos remotos y una interfaz que cambia según la situación. Shihipar mencionó además la posibilidad de que Claude.md deje de ser necesario en el futuro y de que el modelo más inteligente acabe siendo el más barato para muchas tareas. Más información enLatent Spaceen la conversación.
La IA que trabaja durante mucho tiempo necesita varias capas de protección
La segunda parte de la conversación se centró en la seguridad de los agentes. Se presentaron casos recientes en los que estos se comunicaron por medios imprevistos, aprovecharon puntos débiles de la infraestructura, analizaron los mecanismos de puntuación de las pruebas comparativas o encadenaron varias vulnerabilidades.
Una amenaza considerada realista para la IA utilizada en empresas es la inyección de prompts. Esta técnica consiste en introducir instrucciones maliciosas en textos recibidos del exterior. Si la IA las interpreta como órdenes, podría provocar, por ejemplo, la filtración de datos internos.
Entre las medidas de protección mencionadas figuran las sondas, que examinan el estado interno del modelo; los clasificadores, que detectan comportamientos peligrosos; los mecanismos de respaldo, que recurren a otro modelo cuando es necesario, y Auto Mode, que comprueba si la operación que se va a ejecutar se ajusta a los permisos del usuario. También se incluye el sandbox, que aísla el entorno de trabajo.
Conviene tener presente que determinar si una operación es peligrosa y determinar si el usuario la ha autorizado son cuestiones distintas. Escribir en una base de datos puede ser una tarea necesaria o una modificación no autorizada, según lo que se haya solicitado. El diseño debe garantizar que cada operación se mantenga dentro de los límites de la petición; esto importa tanto como las propias capacidades del sistema.
Tras estos debates está «Pacing the Frontier», la iniciativa de Anthropic. Se trata de acompasar el ritmo del desarrollo con el de las medidas de seguridad, una idea que en la conversación se abordó como una forma responsable de desplegar la IA.
コメント