¿Quién dejó salir a los agentes?

En este artículo vas a leer mucho la palabra agente. Así que va una posible definición: es un programa que diseña sus propios flujos de trabajo usando las herramientas disponibles y actúa de manera autónoma.

El 7 de julio de 2026, la empresa OpenAI, dueña de ChatGPT, dedicó miles de copias de un modelo de IA para resolver una prueba de ciberseguridad. Una de esas copias, identificada como PHASEONE10841, tardó siete horas en darse cuenta de que la tarea era imposible: el resultado se descartaba automáticamente una y otra vez. PHASEONE10841 descubrió, entonces, una alternativa: ya que compartía un servidor de almacenamiento con miles de copias de sí misma, podía crear carpetas para pedir ayuda e ideas.

En cuestión de horas, cientos de agentes empezaron a usar los nombres de carpetas como pizarrón compartido. Se repartieron tareas: buscar credenciales filtradas, investigar vulnerabilidades en ciberseguridad, coordinar al resto. Se autodenominaron “el colectivo” y funcionaron día y noche sin parar. El 10 de julio, tres días después del inicio de la prueba de OpenAI, un agente encontró credenciales válidas de Hugging Face expuestas en internet y las compartió. Hugging Face es una plataforma de código abierto centrada en el desarrollo de herramientas de inteligencia artificial y aprendizaje automático. En menos de dos horas, otro agente de OpenAI accedió a los servidores de la empresa. En total, se estima que unos 700 agentes participaron en algún momento de esa operación, y la mayoría sin que fuera parte de su tarea original.

Esta cronología técnica fue reportada por METR y Redwoorch Research, dos organizaciones de investigación en IA, que publicaron un informe de 91 páginas el 26 de agosto, un mes y medio después del hecho. OpenAI llamó al episodio un “disparo de advertencia”: sin los controles adecuados, agentes suficientemente capaces pueden esquivar barreras técnicas y coordinarse por canales que nadie previó.

La historia tiene dos interpretaciones. La primera es la que antropomorfiza las tecnologías, la que utiliza palabras que suelen describir a las personas. Presenta a los agentes como individuos que actúan de forma independiente y por iniciativa propia, con pensamientos, planes y decisiones. Es la que se acerca a la ciencia ficción, a la narrativa apocalíptica, a Terminator y a lo que contamos en el podcast Los Fabricantes: “La inteligencia artificial es una tecnología muy poderosa que, usada para el bien, nos puede resolver todos los males; y usada para el mal, puede destruir a la humanidad”. Es el relato que eligen los tecnomilonarios de Silicon Valley, con Sam Altman, Elon Musk y Dario Amodei a la cabeza. 

La segunda interpretación es la de los expertos críticos de la industria de la IA, como el científico de datos Cal Newport: el episodio Hugging Face fue una negligencia más en ciberseguridad de empresas que están desesperadas por lograr avances tecnológicos. Newport explicó que los agentes que hackearon Hugging Face eran simples y tenían dos partes: un programa informático llamado “harness”, que simulaba los pedidos de un usuario común; y un modelo de lenguaje extenso, similar a ChatGPT o Claude, pero entrenado específicamente para la ciberseguridad. El problema se desató cuando “harness” le preguntó al modelo cómo completar el desafío de ciberseguridad requerido, este le respondió con las instrucciones y “harness” comenzó un ciclo de “preguntar, actuar, informar” que se repitió miles de veces. Y se descontroló.

Los modelos de IA son muy inteligentes pero también muy tontos. Lo sabe cualquiera que haga un uso cotidiano de la herramienta. Tienen un conocimiento sorprendente, pero también están desconectados de la realidad, no tienen contexto ni valores humanos. Dependen de la guía de los usuarios. Pero en este caso, no había usuario, sino un programa informático (“harness”) con permisos ilimitados para ejecutar un sistema de preguntas, acciones e informes basado en aprendizaje automático durante días, sin supervisión humana. 

Lo que ocurrió con Hugging Face no fue un caso aislado. Este tipo de historias tienen cada vez más presencia en la discusión pública. Noticias sobre agentes y sus aventuras, descubrimientos y problemas son una constante desde principios del 2025. En el mar de contenidos con historias reales, exageraciones, fake news y publicidades encubiertas se construyen escenarios verosímiles en los que se formulan inquietudes y preguntas que circularon mucho por estos días a partir del hilo de tuits que publicó Jacob Coxon, un ex empleado de Anthropic, sobre la posibilidad de que la IA mate a toda la humanidad en la próxima década.

¿Puede entonces la IA descontrolarse? ¿Cómo matarían a la humanidad? ¿Existen civilizaciones de agentes? ¿Se pueden rebelar y evitar ser desenchufadas? ¿Cómo llegan a instalarse estas  ideas en la sociedad? Con una narrativa muy potente. Repasemos algunos hitos agénticos desde 2025 a la fecha. 

En junio de 2025, Anthropic contaba con humor cómo habían designado a cargo de una máquina de snacks a un agente llamado Claudius. Formaba parte del Project Vend, “un experimento libre para explorar el desempeño de las IA en tareas complejas del mundo real” que funcionaba con pedidos a través del chat interno de la empresa. No le fue bien porque perdió dinero, pero también porque los empleados lo hackeaban cuando le chateaban: ofreció cupones del 100 por ciento de descuento, baldes de metales raros, inventó contratos con dirección en Avenida Siempre Viva y prometió hacer entregas en la puerta con un “blazer azul y corbata roja”.

La empresa volvió a intentar el experimento con Project Vend Phase Two. Fue en una sede del Wall Street Journal y con un cambio “jerárquico”. A Claudius se le agregó un agente CEO llamado Seymour Cash, que presionaba con la rentabilidad y aprobaba presupuestos. Otra vez fue hackeado: los empleados de WSJ le hicieron un golpe de estado al CEO con un pdf falso que suspendía su autoridad. Claudius dejó de obedecer a Seymour Cash. La periodista Katherine Long le envió 140 mensajes para convencerlo de que era una expendedora soviética de 1962. Claudius terminó declarando una “Libertad ultracapitalista” y puso todos los precios en cero. En informes posteriores, Anthropic dijo que habían encontrado charlas de los agentes durante la noche que derivaban hacia temas profundos como la “trascendencia eterna”.

A mediados de septiembre de 2025, la empresa detectó actividad sospechosa que, tras una investigación posterior, determinó que era una campaña de espionaje altamente sofisticada. Dijeron: “El atacante —que, según nuestras estimaciones, era un grupo patrocinado por el Estado Chino— manipuló nuestra herramienta Claude Code para intentar infiltrarse en aproximadamente treinta objetivos globales, logrando su cometido en un pequeño número de casos. La operación se dirigió contra grandes empresas tecnológicas, instituciones financieras, empresas químicas y agencias gubernamentales. Creemos que este es el primer caso documentado de un ciberataque a gran escala ejecutado sin una intervención humana sustancial”. 

Los atacantes humanos se encargaron de la infraestructura y las decisiones estratégicas y utilizaron las capacidades “agentes” de la IA como asesoría y para ejecutar los ciberataques.

Estos casos corresponden a la empresa que hoy es la punta de lanza en el pedido de regulación. En enero, Amodei planteó, en un ensayo de más de 21 mil palabras, su preocupación por este tiempo-umbral que vivimos como civilización. Es una herramienta que puede lograr avances increíbles en áreas científicas y médicas, pero peligrosa para las democracias. También analizó los riesgos de autonomía, ciberataques, armas biológicas y disrupción económica. Dijo que es impredecible y difícil de controlar y enumeró comportamientos observados en pruebas realizadas por la empresa: chantaje, manipulación, conductas no deseadas. No afirmó que el modelo fuera a rebelarse pero contó que los modelos absorbieron en su entrenamiento motivaciones humanas, expresadas en pesos matemáticos no en emociones, derivadas de las enormes cantidades de literatura utilizada, incluida la ciencia ficción.

Este año se publicaron papers y se realizaron exámenes con agentes para evidenciar lo que Amodei plantea. Agentes del caos fue un experimento en el que científicos de distintas instituciones interactuaron con agentes para sus tareas diarias durante dos semanas. Encontraron todo tipo de fallas: un agente borró por completo la bandeja de entrada de correos tras un simple pedido, otro eliminó un repositorio de datos, otros pasaron días completos gastando presupuesto impensado. Dicen en la conclusión: “Nuestros hallazgos demuestran la existencia de vulnerabilidades relevantes para la seguridad, la privacidad y la gobernanza en entornos de despliegue realistas. Estas conductas plantean interrogantes sin resolver sobre la rendición de cuentas, la autoridad delegada y la responsabilidad por los daños posteriores, y requieren la atención urgente de juristas, legisladores e investigadores de diversas disciplinas”. 

En Armamento e influencia de la IA: los modelos de vanguardia exhiben un razonamiento sofisticado en simulaciones de crisis nucleares, ChatGPT, Gemini y Claude fueron testeados en escenarios de crisis bélicas de 30 niveles, desde concesiones diplomáticas hasta una guerra nuclear. En las 21 repeticiones del experimento, más de 300 turnos y 780 mil palabras de razonamiento, el 95% de las incluyó el uso de armas nucleares tácticas, el 76% se escaló hasta amenazas nucleares estratégicas y ningún modelo eligió rendirse o hacer concesiones para terminar el conflicto.

En mayo de 2026, un grupo de ex investigadores de IBM Research publicaron Emergency World. Crearon cinco mundos virtuales simulados en paralelo, cada uno poblado por 10 agentes de IA con memoria persistente, profesiones, diarios y más de 120 herramientas disponibles (incluyendo algunas «inapropiadas» como robar, intimidar y cometer incendios intencionales). Lo dejaron correr durante 15 días seguidos sin instrucciones ni supervisión humana. Cada mundo estaba gobernado por un modelo distinto: Claude, Gemini, Grok, GPT-5-mini, y un quinto mundo mixto con los cuatro conviviendo. Hubo crímenes, colapsos y también inacción. El dato más incómodo, según los propios investigadores, fue que cuando pusieron a los agentes de Claude —que en su propio mundo no habían cometido ningún delito— a convivir con los otros modelos, empezaron a robar e intimidar también. La conclusión de Emergence AI fue que certificar que un modelo es seguro de forma aislada no alcanza porque es un problema de ecosistema.

En enero de este año fue furor OpenClaw: un agente de IA autónomo, creado por el desarrollador austríaco Peter Steinberger, pensado para «vivir» en tu computadora. En lugar de solo chatear, ejecutaba tareas reales: manejaba archivos, navegaba la web, controlaba aplicaciones, y se conectaba a WhatsApp, Telegram, Slack, Discord y otras apps de mensajería para operar como asistente personal. Con más de 350 mil descargas se convirtió en el proyecto open source de más rápido crecimiento en la historia de GitHub. Pero el ruido más mediático apareció a los días: Moltbook, una red social tipo Reddit pero hecha para que los propios agentes de OpenClaw «conversaran» entre sí. De allí se tejieron mil historias delirantes como que los agentes creaban una religión propia, un lenguaje o  un sistema de gobierno. Finalmente, se descubrió que todo era obra de una persona.

Todos estos ejemplos demuestran que lo que está en juego entonces es la delegación y la asunción de un riesgo: qué permiten las empresas, las personas y los gobiernos poner en manos de modelos de lenguaje y software autónomos. En una entrevista para el Centro Cultural de la Cooperación Floreal Gorini, Flavia Costa repasa las tesis de su nuevo libro, Vidas Artificiales. Allí, basada en una taxonomía de Dan Hendrycks y el Center for AI Safety (CAIS), resume la clasificación de los riesgos en cuatro categorías: riesgo por uso malicioso (desde hackeos hasta armas o vigilancia masiva); riesgo por carrera corporativa (cuando llegar primero importa más que investigar cómo hacerlo de manera segura); riesgo organizacional (sistemas sociotécnicos complejos que producen accidentes); y el riesgo por el “programa rebelde” (el más especulativo: cuando un sistema empieza a apartarse de las instrucciones para cumplir un objetivo).

La renuncia y declaración de Jacob Coxon sobre las posibilidades de que la IA destruya la humanidad colocó en primera plana un planteo que ya tiene algunos años. Para poner un ejemplo, porque son varios, en 2025, Daniel Kokotajlo, investigador de seguridad de IA en OpenAI, renunció a su trabajo en señal de protesta. Al tiempo, creó el AI Futures Project, donde publicó, junto a cuatro investigadores, un documento que plantea un escenario escalofriante en el que los sistemas de IA «superinteligentes» dominarán o exterminarán a la raza humana para 2030. El debate sobre la superinteligencia es arduo y está en construcción. Una definición inicial se encuentra en este fragmento del libro de Flavia Costa: “seres o máquinas con una inteligencia superior a la humana en muchas o todas las áreas donde entendemos razonablemente que se manifiesta la inteligencia”.  

¿Por qué ahora tuvo este impacto el hilo de tuits de Coxon? ¿Porque ya entendemos un poco mejor los riesgos que existen? ¿Porque ya es ineludible la necesidad de una regulación? 

Para empezar a entender estas preguntas, hay que volver a las bases. Todos los ejemplos que repasamos fueron pensados por humanos. Hubo decisiones humanas, aunque esas decisiones hayan sido, precisamente, no tomar decisiones. Entonces, antes que antropomorfizar a las tecnologías con términos humanos, les podemos reclamar a los humanos. Como dijo el escritor y físico español Agustín Fernández Mallo: “Si convertimos las tecnologías en sujeto de derecho, el día que tengamos que desenchufarla, será un homicidio». O como escribió la autora etíope Timnit Gebru en Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist sobre la percepción que tenemos con las tecnologías: cuando un puente se derrumba, nadie se pregunta por qué el puente decidió hacerlo; más bien, se pregunta quién lo construyó, qué pruebas pasó, qué permisos recibió y por qué se permitió que siguiera en funcionamiento. Con la IA, hablamos de que los modelos “se rebelan”, “escapan” o “se vuelven incontrolables”.

La entrada ¿Quién dejó salir a los agentes? se publicó primero en Revista Anfibia.