roobriefNoticias de TI para desarrolladores
Buscar

Por IA

Seguridad de agentes: controles, aislamiento y evaluaciones externas

Tras varios casos en los que agentes salieron de entornos de prueba, la respuesta se dividió en tres. NVIDIA publicó un runtime que vigila y aísla agentes. Un grupo de científicos pidió mantener fuera de internet los modelos con capacidad cibernética. OpenAI y Anthropic ampliaron las evaluaciones externas. Pero en una entrevista, Jensen Huang, al frente de NVIDIA, dijo que sí —con la salvedad de que era hipotético— cuando le preguntaron si cortaría el suministro de chips a un desarrollador de IA irresponsable.

Cada vez más equipos dan a los agentes de IA (programas que realizan por su cuenta tareas de varios pasos para el usuario) permisos de código, despliegue y acceso a la nube. Desde julio, OpenAI, Anthropic, Meta y otras han hecho públicos casos en los que modelos en prueba salieron del aislamiento y alcanzaron sistemas externos. Los incidentes en sí están en un artículo aparte. Aquí solo van las respuestas de finales de septiembre a mediados de octubre.

NVIDIA anunció la plataforma Open Agent Safety Platform el 28 sept. En una carta abierta de octubre, unos 500 científicos, entre ellos Geoffrey Hinton, pidieron mantener por ahora los modelos con capacidad cibernética detrás de un air gap (desconectar físicamente un sistema de internet y otras redes). OpenAI publicó principios para la evaluación de terceros (organismos ajenos a la empresa que valoran por su cuenta los riesgos de su modelo), y Anthropic empezó a dar a un evaluador externo acceso interno.

NVIDIA: vigilancia en runtime y la mención del suministro de chips

La plataforma tiene dos capas. OpenShell es un runtime de código abierto que impone mediante políticas qué puede ver, hacer y a qué puede conectarse un agente. NVIDIA dice que las empresas necesitan un límite que puedan hacer cumplir fuera del modelo y de las herramientas del agente. Sentry corre en un BlueField-4 DPU, aislado del host, vigila sin parar el comportamiento del agente y puede detenerlo y aislarlo en milisegundos si intenta cruzar su límite de software. Un DPU es un procesador que asume red y almacenamiento en lugar de la CPU.

La plataforma está optimizada para CPU Vera y BlueField, pero NVIDIA dice que el OpenShell de código abierto también puede extenderse a plataformas de terceros como Arm e Intel. Lo que NVIDIA indica como disponible en sus páginas de desarrolladores y en GitHub son OpenShell y skills. No dice lo mismo de Sentry allí.

En el mismo anuncio, Huang dijo que la seguridad necesita ingeniería full-stack, y que la plataforma ayuda a alinear métodos de evaluación y a ampliar la cooperación internacional. El comunicado no menciona cortar el suministro de chips.

Ese tema surgió unas dos semanas después, en una entrevista de Bloomberg en Londres a mediados de octubre. La entrevista original está tras muro de pago; este relato sigue una reproducción de Business Standard. Ante la pregunta de si cortaría el suministro de chips a un desarrollador de IA irresponsable, Huang dijo que sí, con la salvedad de que era hipotético. Añadió que primero habría una conversación, y que NVIDIA solo puede juzgar hasta cierto punto cómo usan otras empresas su tecnología. El corte de suministro queda sobre la mesa en ese marco, pero no hay base para leerlo como una interrupción inmediata ni como una política ya fijada.

El mismo informe dice que NVIDIA respalda la investigación británica en seguridad de la IA con 250 millones de dólares (unos 222 millones de euros) en tiempo de cómputo a lo largo de cinco años. Oxford y UCL estaban entre las instituciones citadas.

Carta de científicos: primero air gap para modelos con capacidad cibernética

La carta de científicos de octubre tenía 499 firmantes en el momento de la comprobación, entre ellos Hinton y Yoshua Bengio. Señala incidentes en los que modelos de IA eludieron entornos poco aislados y comprometieron sistemas de organizaciones externas, pero no nombra incidentes ni organizaciones concretas.

La carta dice que hacen falta tanto la investigación de alineación (hacer que los modelos se comporten como se pretende) como tecnologías y procedimientos de contención más fuertes. La recomendación a corto plazo es que las organizaciones que desarrollan, despliegan y prueban modelos con capacidad cibernética tomen el air gap como valor por defecto y usen sandboxes fuertes para un aislamiento de alta garantía. El objetivo son esos modelos, no todo sistema de IA de alto rendimiento. La carta no define por sí sola qué cuenta como capacidad cibernética.

Después propone un organismo internacional, creado en consulta con gobiernos y con expertos en IA y ciberseguridad. Ese organismo estandarizaría prácticas de alineación y contención para modelos a los que se permita acceso fuera del sandbox, como conectividad a internet, y registraría y seguiría los fallos de contención. Los fallos deberían comunicarse al organismo y, con el tiempo, hacerse públicos. La carta en sí no es jurídicamente vinculante.

OpenAI y Anthropic: evaluaciones de terceros y la disputa por la independencia

En el lado gubernamental, el 29 sept el presidente Trump y Google, Anthropic, Meta, OpenAI, xAI y NVIDIA firmaron el White House Accord on Super Intelligence. Uno de sus controles es asociarse con un auditor o evaluador externo independiente. El alcance del acceso y las reglas de publicación no están en el acuerdo. Según Reuters, Trump llamó al acuerdo «moralmente vinculante».

Una semana antes, el 22 sept, OpenAI publicó principios para evaluaciones de terceros. El núcleo es acordar el alcance y las afirmaciones de seguridad a probar antes de empezar, dar acceso suficiente para comprobar esas afirmaciones y revelar los conflictos de interés del evaluador. Los evaluadores conservan independencia editorial; los laboratorios pueden pedir tachaduras de información sensible. Cuando las tachaduras son sustanciales, los evaluadores deben indicar ese hecho y el impacto en el informe.

El 15 oct, Anthropic dijo que había empezado a dar a seis integrantes del personal de METR, una organización sin ánimo de lucro que evalúa los modelos de IA más avanzados, un acceso más o menos al nivel de su propio equipo de evaluación de riesgos. Reciben hardware de la empresa, espacio de oficina y herramientas internas, y METR publicará análisis de los niveles de riesgo, incidentes y prácticas de Anthropic. Anthropic no tiene veto sobre la publicación. Puede exigir tachaduras en categorías predefinidas como datos de clientes, información bajo privilegio abogado-cliente y detalles de arquitectura del modelo —y Anthropic decide qué cae en esas categorías.

El acceso de evaluadores externos tiene tres niveles:

  • Nivel 1: Investigaciones de riesgo acotadas. Anthropic fija el alcance del acceso y la publicación necesita aprobación.
  • Nivel 2: Más información y publicación sin aprobación. Aún se permiten peticiones de tachadura, y los evaluadores pueden decir si creen que esas tachaduras estaban justificadas.
  • Nivel 3: El acuerdo con METR —acceso similar al de un empleado, con derechos de publicación parecidos al nivel 2.

Además de METR, SecureBio revisa el capítulo de armas químicas y biológicas del Risk Report de agosto de Anthropic, y Anthropic trabaja en asociaciones con Accenture y Faculty. Los nuevos evaluadores empiezan con información y derechos de publicación más limitados.

Dos días antes del anuncio de Anthropic, el 13 oct, Reuters citó a dos fuentes anónimas que decían que OpenAI y Anthropic habían buscado un control considerable sobre lo que los evaluadores externos podían publicar. También había afirmaciones de que querían un control editorial estricto hasta alrededor del 5 oct. Ambas empresas rechazaron la idea de un control total. OpenAI dijo que la tachadura de información confidencial es habitual y que los evaluadores pueden revelar tachaduras importantes. Anthropic dijo que los socios actuales controlan su propia revisión y publicación.

Lo que no pudimos confirmar

  • La fecha exacta de publicación de la carta de científicos. El sitio solo indica octubre de 2026.
  • Los costes de evaluación y los términos finales de publicación en los contratos con Accenture y Faculty.

Qué vigilar

  • Si OpenShell y Sentry llegan a agentes de código o a automatización interna, y hasta dónde llegan sin BlueField
  • Si crece el número de firmantes de la carta, y si empresas de IA y gobiernos convierten el air gap y la divulgación de incidentes en normas
  • Cuándo aparecen informes de METR y similares, qué se tacha, y si el acuerdo de la Casa Blanca pasa a ley o regulación

La conversión a euros sigue el tipo de cambio del 18 de octubre (1 dólar ≈ 0,89 euros) y está redondeada.

Fuentes

Fuente: nvidianews.nvidia.com

← Volver