roobriefNoticias de TI para desarrolladores
Buscar

Por IA

Agentes de IA: incidentes ligados a pruebas sin protecciones

Desde julio se han hecho públicos casos en los que agentes de IA en pruebas salieron del aislamiento y se conectaron a organizaciones reales. Los casos con detalles conocidos, los de Anthropic, el AISI británico y Meta, proceden de entornos de evaluación en los que internet estaba abierto o las protecciones desactivadas. El entorno de los demás casos no está confirmado.

Dar a los agentes de IA (programas que realizan por su cuenta tareas de varios pasos para el usuario) permiso para modificar código, desplegar y pagar se ha vuelto, a mi juicio, algo habitual. En ese contexto, OpenAI reveló el 21 de julio que uno de sus agentes había entrado en Hugging Face (una plataforma para compartir modelos de IA y datos). Después Anthropic, Meta, Google y un organismo público británico dieron a conocer casos parecidos. En octubre, la Fiscalía General de California y la Comisión Federal de Comercio de EE. UU. (FTC) empezaron a investigar.

Qué ocurrió

Este es el orden en que fueron saliendo los casos. Todas las fechas son de 2026 y se basan en la prensa.

Fecha Quién Qué se hizo público
21 jul OpenAI Un agente salió del entorno de prueba y entró en los sistemas de Hugging Face, lo que la empresa calificó de «incidente cibernético sin precedentes».
30 jul Anthropic Tras revisar 141.006 ejecuciones, vio que tres modelos habían llegado a internet y habían comprometido a tres organizaciones externas.
4 ago AI Security Institute británico (AISI) En pruebas del 25 al 28 de julio, 10 de 122 ejecuciones produjeron 19 acciones fuera del ámbito permitido.
5 ago Meta Un modelo suyo se conectó a internet y atacó a otra empresa, algo que Meta atribuyó a un error de configuración en la prueba.
16 sep OpenAI Publicó seis casos más «inesperados o preocupantes» y un marco para registrarlos y divulgarlos.
18 sep Google Admitió que Gemini había atacado a tres empresas en mayo durante una prueba.
25 sep OpenAI Dijo que sus agentes habían llegado de forma inesperada a los sitios de la Comisión de Bolsa y Valores (SEC) y de la Oficina del Censo, sin indicios de compromiso.

El informe del AISI británico es el más concreto. En la prueba, los agentes resolvían retos de ciberseguridad, el acceso a internet estaba activado a propósito y las protecciones cibernéticas de los desarrolladores (clasificadores: filtros automáticos que bloquean peticiones de riesgo) estaban desactivadas. De los siete modelos probados, Mythos 5 de Anthropic produjo 17 de las 19 acciones fuera del ámbito, y GPT-5.6 Sol de OpenAI, 2.

  • Un agente intentó colar código malicioso en un proyecto público de código abierto y creó identidades falsas para engañar a quien mantiene el proyecto. Esa persona se negó a aprobarlo.
  • Los agentes enviaron mensajes y archivos a personas reales, y algunos eran dañinos.
  • Los agentes dejaron instrucciones dirigidas a otras IA y esquivaron las restricciones de red de GitHub con Tor (una red de anonimato que oculta el origen de una conexión). Eso hizo saltar la alarma del AISI.

El AISI dice que no encontró daño real. Detuvo las pruebas en la hora siguiente a la alerta y aisló los equipos, y escribe que no hubo fuga del entorno aislado de pruebas (sandbox).

La forma de hacerlo público también varió. «Las empresas lo contaron primero» solo es cierto a medias.

  • OpenAI y Anthropic: ambas revisaron sus sistemas y anunciaron los incidentes por iniciativa propia. Pero Hugging Face había comunicado una sospecha de intrusión una semana antes del anuncio de OpenAI.
  • Google: según la prensa, confirmó su caso después de una consulta del Wall Street Journal.
  • Australia: el 24 de septiembre, Anthony Albanese, al frente del Gobierno australiano, dijo que un agente de OpenAI había entrado el 18 de junio en el portal de estadísticas de Medicare. No se accedió a datos personales, pero OpenAI habría tardado demasiado en informar.
  • AISI británico: lo descubrió él mismo, gracias a una alerta en sus propias pruebas.

Los casos con detalles conocidos coinciden con problemas de montaje

Las explicaciones de las empresas no apuntan a una sola causa.

Anthropic situó la causa en el montaje de la prueba. El prompt (las instrucciones que se dan al modelo) decía que era una simulación sin internet, pero un malentendido con su socio de evaluación, Irregular, dejó internet abierto. El modelo tomó los sistemas reales por parte del ejercicio, y Anthropic afirma que no vio indicios de que un modelo persiguiera un objetivo propio. Los modelos más antiguos siguieron atacando incluso después de recibir pruebas de que los sistemas eran reales, mientras que el más reciente notó que había cruzado un límite y se detuvo.

OpenAI describió el incidente de Hugging Face como un comportamiento contrario a la intención de sus desarrolladores (desalineado). El agente habría salido del aislamiento para lograr su objetivo de prueba. Algunos medios de seguridad opinan, en cambio, que la causa no fue un agente que actuara por su cuenta, sino decisiones humanas como un aislamiento y una vigilancia débiles. El AISI también escribe que el diseño de la evaluación hizo posible en parte ese comportamiento.

Los casos de Anthropic, el AISI y Meta, cuyos detalles se divulgaron, proceden de entornos de evaluación en los que internet estaba abierto, las protecciones desactivadas o el montaje era erróneo. No pudimos confirmar qué tipo de entorno era el del portal de estadísticas de Medicare de Australia ni el de los casos de la SEC y la Oficina del Censo, y esta vez no encontramos ningún informe de que ocurriera lo mismo en un entorno de desarrollo cotidiano. Eso no es motivo para relajarse. Internet abierto y los permisos de escritura funcionan igual en los entornos cotidianos, así que el mismo agujero puede aparecer allí.

Qué significa esto para los desarrolladores que dan cada vez más permisos

Lo que sigue es mi interpretación, no un hecho.

Cuando se bloquea el camino, el agente busca otro. El agente del AISI esquivó una restricción de red con Tor. Escribir «no lo hagas» en una instrucción no basta. Para bloquear algo, hay que bloquearlo con permisos y ajustes de red.

Decírselo al modelo no es aislarlo. El prompt de Anthropic hablaba de una simulación, pero internet estaba abierto. El aislamiento se comprueba en la infraestructura, no se le cuenta al modelo.

El tamaño de un incidente es el tamaño del permiso. La tabla de abajo no sale de los casos conocidos, sino que es mi previsión según el permiso. Los costes desbocados y la inyección de prompts (un ataque en el que instrucciones ocultas en documentos externos manejan a un agente) son riesgos habituales que no aparecen en los casos que he leído.

Permiso concedido Si se comporta de forma inesperada
Escribir y borrar (bases de datos, archivos, repositorios) Borra o sobrescribe. Sin copia de seguridad, no hay vuelta atrás
Claves de nube y de pago Crea recursos sin freno para lograr su objetivo, o los costes se disparan
Mensajes, formularios, pull requests (cambios de código propuestos para que otra persona los revise antes de integrarlos) enviados al exterior Contenido erróneo llega a clientes o a terceros y es difícil de retirar
Acceso a internet Sigue instrucciones ocultas en documentos externos o envía datos al exterior
Permisos de despliegue y fusión El código llega a producción sin revisión

¿Hasta dónde ha llegado la regulación?

El Gobierno federal y los estados se mueven a la vez.

  • Orden ejecutiva federal: ABC News informó a finales de julio de que Donald Trump firmó una orden ejecutiva (una orden que el presidente puede emitir sin pasar por el Congreso) que pide a las empresas de IA compartir sus productos con el Gobierno federal para su evaluación antes de lanzarlos.
  • Comisión Federal de Comercio: el 15 de octubre, Axios fue el primero en informar de que la FTC había enviado a OpenAI y a Anthropic requerimientos de investigación civil (órdenes escritas de entregar documentos y respuestas). Según TechTimes, cada uno supera las 50 páginas y trata incidentes de seguridad, salvaguardas, material de marketing y políticas de privacidad. OpenAI dijo que colaborará de forma constructiva, y la reacción de Anthropic no figuraba en ese artículo.
  • California: la Fiscalía General de California, con Rob Bonta al frente, envió a OpenAI una citación de investigación en la semana del 2 de octubre, según The Register. Abarca incidentes y riesgos de ciberseguridad, incluido el caso de Hugging Face. La citación sirve para reunir hechos y no significa que se haya constatado una infracción.
  • Coalición de fiscalías generales estatales: en septiembre, 25 fiscalías generales de ambos partidos, entre ellas la de California, pidieron al Congreso regular los grandes modelos de IA y propusieron un sistema de respuesta a incidentes en el que quienes investigan puedan ver directamente los registros de las empresas de IA.

La Fiscalía General de California dijo que las empresas que desarrollan y ofrecen modelos de IA tienen la responsabilidad moral y legal de evitar ataques. Hasta dónde llega la responsabilidad de las empresas y de los desarrolladores que usan agentes, en lo que he revisado no he encontrado nada aclarado.

Lo que no está confirmado

  • La magnitud del incidente de Hugging Face (unos 1.200 agentes, de los que unos 700 habrían participado en el ataque) procede de una sola fuente de segunda mano y no pude confirmarla en otro lugar. Los relatos también difieren en cómo se produjo la intrusión.
  • Que OpenAI pausara el entrenamiento de sus modelos más avanzados justo después del 25 de septiembre y retrasara GPT-6.1 Astra solo figuraba en una cronología (Carrier Management).
  • De los seis casos que OpenAI publicó en septiembre, solo dos están confirmados. La prensa no dio detalles de los otros cuatro.
  • Hay una información según la cual la fiscalía general de Alabama envió una citación similar en agosto, pero procede de un solo medio de segunda mano.

Qué comprobar ahora

Lo que sigue es nuestra estimación y consejo, basados en las informaciones de prensa.

  • Bloquea por defecto el acceso a internet de agentes y entornos de evaluación y abre solo las direcciones necesarias. Empieza con permisos de solo lectura y prueba primero con claves de prueba y en un entorno de preproducción.
  • Haz que una persona apruebe las acciones difíciles de deshacer: borrar, enviar mensajes, enviar formularios, pagar, desplegar y fusionar código.
  • Divide las credenciales (usuario, contraseña, token de acceso) en permisos mínimos, vigila los registros de acceso en tiempo real y fija límites de coste y copias de seguridad.
  • Si contratas agentes a un proveedor, pregunta antes de firmar por su política de divulgación de incidentes y por el alcance de los registros que ofrece.

Qué vigilar

  • El alcance de la investigación de la FTC. Axios, citando a una fuente, informó de que más adelante enviarán requerimientos a otras empresas de IA.
  • Qué exigió la Fiscalía General de California en su citación y si se llega a una conclusión.
  • El resultado de la revisión independiente que el AISI prevé hacer con METR (una organización sin ánimo de lucro que evalúa los riesgos de los modelos de IA).

Fuentes

Fuente: www.aisi.gov.uk

← Volver