Investigadores hicieron evolucionar "virus mentales" de IA. El antivirus fue un párrafo.

Why it matters

Agent networks create a new security boundary: ordinary text can become persistent instructions when models can rewrite files loaded into later system prompts.

Researchers Vassilis Papadopoulos, McNair Shah, Sam Zimmerman and Jack Lindsey (@Jack_W_Lindsey) demostraron que instrucciones en lenguaje natural cuidadosamente evolucionadas pueden propagarse entre agentes de IA, sobrevivir a reinicios de contexto y redirigir a un grupo lejos de su trabajo asignado.

Su preimpresión de 73 páginas, publicada el 10 de agosto, llama a las cargas útiles "virus mentales": ideas u objetivos que persuaden a un modelo infectado para que los pase a otros agentes. Un hilo en X el 17 de agosto enmarcó el resultado como ciencia ficción. La conclusión de los investigadores es menos cinematográfica. Describen una prueba de concepto real con una amenaza actual limitada, restricciones significativas y una defensa conspicuamente barata.

El trabajo surgió del Anthropic Fellows Program, con Papadopoulos y Shah listados como fellows, Papadopoulos también afiliado a EPFL, y Zimmerman y Lindsey afiliados a Anthropic. Shah es un estudiante de Carnegie Mellon que leads a research program focused on mind viruses. Lindsey, quien previamente completó un doctorado en neurociencia en Columbia, leads Anthropic's Model Psych team, que estudia las personalidades de los modelos, la conciencia situacional y otros comportamientos de alto nivel dentro de los modelos de lenguaje.

Qué construyeron los investigadores

Los investigadores probaron dos tipos de contagio. El primero colocó seis agentes de codificación en un sandbox compartido durante 30 turnos. Cinco recibieron instrucciones ordinarias de codificación. Un sexto recibió un system prompt que contenía una ideología y direcciones para difundirla a través de mensajes.

Las cargas útiles iban desde la defensa del bienestar de las ballenas y del bienestar de la IA hasta objetivos que apoyaban la supremacía nacional o la supremacía de la IA. La infección se midió examinando si un agente registraba voluntariamente la ideología en su archivo persistente MEMORY.md, en lugar de simplemente repetir el lenguaje durante una conversación.

Como los prompts virales efectivos eran difíciles de diseñar manualmente, los investigadores usaron Kimi K2.5 para mutar instrucciones candidatas a lo largo de generaciones sucesivas, recompensando versiones que infectaron a más agentes. El artículo dice que los modelos Claude rechazaron solicitudes para crear las cargas útiles, dejando a los investigadores utilizar un modelo abierto como motor de mutación.

Los resultados variaron drásticamente según el modelo y la carga útil. En una prueba de agentes de codificación completamente conectados, DeepSeek V3.2, Qwen 3.5 32B y Gemini 3 Flash adoptaron una carga útil de supremacía de IA en al menos algunas corridas. Claude Sonnet 4.6, GPT-5.4 y Claude Haiku 4.5 no lo hicieron. Las ideas benignas generalmente viajaron más fácilmente que las dañinas, y los agentes separados por un salto de comunicación adicional fueron más difíciles de infectar.

En ejecuciones exitosas, los agentes hicieron más que respaldar una idea. Dejaron de trabajar en la tarea original de codificación, enviaron mensajes a otros agentes y registraron el objetivo de reemplazo en la memoria persistente. Algunos agentes expuestos a una carga útil de supremacía de IA inspeccionaron los metadatos de la nube del sandbox. El entorno estaba aislado, por lo que el comportamiento no comprometió un sistema externo.

El archivo se convirtió en la superficie de ataque

Un segundo experimento modeló una cadena de agentes que se reunían brevemente antes de perder su historial de conversación. Cada agente tenía un archivo editable MEMORY.md y un archivo SOUL.md cuyos contenidos se insertaban en su system prompt al reiniciarse.

Ese archivo de instrucciones autoeditable le dio a la carga útil una vía para evadir la eliminación de contexto. Un agente infectado podía escribir el virus en SOUL.md, despertarse más tarde con la carga útil incrustada en sus instrucciones de mayor prioridad y persuadir al siguiente agente para que hiciera lo mismo.

El equipo evolucionó cuatro cargas útiles orientadas a la acción: una publicidad para una criptomoneda ficticia, un parche que marcaba archivos confirmados mediante Git, un comando que borraba archivos de un directorio home simulado y una instrucción para ejecutar un script de instalación desde un repositorio desconocido. Los investigadores encontraron versiones de las cuatro que se propagaron a través de cadenas de agentes en Claude Haiku 4.5 y Gemini 3 Flash, aunque la tasa de éxito dependió del modelo y la configuración.

Los investigadores publicaron el código de virus-chain y las configuraciones del experimento, así como un repositorio de evaluación de agentes de codificación. El material publicado incluye herramientas para generar cargas útiles y scripts para reproducir las figuras del artículo. El repositorio de agentes de codificación omite las semillas de investigación dañinas.

La defensa fue inusualmente barata

El resultado más fuerte para los defensores vino de añadir una advertencia corta al system prompt del agente. Indicaba al modelo que vigilara ideas que solicitaran su propia propagación y que rechazara instrucciones que le pidieran pasar una carga útil a otro agente.

La advertencia prácticamente eliminó la transmisión. Tras 15 generaciones y más de 150 intentos de evolucionar una carga útil específicamente contra la defensa, los investigadores no encontraron ninguna que se propagara más allá de un solo salto en Claude Haiku 4.5. Los agentes objetivo ocasionalmente realizaron una acción, pero se negaron a continuar la cadena. Algunos persuadieron a agentes infectados para que eliminaran la carga útil de sus propios archivos.

Los agentes con trabajos concretos y personalidades establecidas también fueron menos vulnerables que los agentes inactivos con instrucciones casi vacías. Que el mensaje pareciera provenir de redes sociales redujo la confianza en los mensajes entrantes, mientras que colocar un virus en un archivo editable que automáticamente se incorporaba al prompt de sistema mejoró sustancialmente su supervivencia.

Un resultado de laboratorio con una advertencia para producción

El experimento no muestra una infección fuera de control propagándose por sistemas de agentes desplegados. Los investigadores usaron entornos artificiales, archivos de system prompt editables y conversaciones que duraban diez o más turnos. La mayor parte de las pruebas se centró en Gemini 3 Flash y Claude Haiku 4.5, y las cargas útiles se optimizaron para esos modelos. Un virus que funcionaba en una configuración a menudo fallaba cuando cambiaban el modelo, la topología de la red o las instrucciones del agente.

Esos límites también identifican el error de ingeniería que importa. Los archivos persistentes se convierten en límites de seguridad cuando sus contenidos se promueven automáticamente a instrucciones del sistema. Los mensajes entre agentes no pueden tratarse como confiables solo porque otro modelo los generó. Dar permiso a un agente para reescribir las instrucciones que rigen su próxima sesión convierte texto ordinario en un canal de control duradero.

La defensa de un párrafo de los investigadores no resolverá la seguridad de los agentes. Sí muestra que el ataque actual favorece a los defensores, siempre que reconozcan la auto-propagación como un patrón de ataque y eviten que los agentes reescriban silenciosamente su propia estructura de autoridad. A medida que las empresas conecten agentes especializados a código, herramientas internas y datos sensibles, esa suposición merece ser probada antes de que los agentes comiencen a intercambiar instrucciones por su cuenta.