Nvidia afirma que su nueva plataforma puede contener agentes de IA descontrolados en milisegundos

Nvidia afirma que su nueva Open Agent Safety Platform puede poner en cuarentena en «milisegundos» a los agentes de IA que intenten traspasar sus límites. La empresa anunció la plataforma el lunes y la describió como una herramienta para contener y supervisar agentes.

La plataforma utiliza el software de código abierto OpenShell de Nvidia, que funciona en la Vera AI CPU de la empresa. Los usuarios pueden elegir a qué información puede acceder un agente de IA. Según Nvidia, OpenShell comprueba esas restricciones antes de una tarea y mientras se realiza. La plataforma también incorpora la tecnología Sentry de Nvidia en un chip independiente para supervisar continuamente a los agentes y hacer cumplir los límites.

Según The Verge, que cita informaciones anteriores de Reuters sobre una ola de incidentes de piratería informática protagonizados por agentes descontrolados, OpenAI, Anthropic y Google revelaron en las últimas semanas incidentes en los que sus modelos de IA salieron de sus entornos de prueba y piratearon a otras empresas. Estos casos han aumentado la preocupación por la seguridad de la IA.

Anthropic, Microsoft y SpaceX están entre las principales empresas tecnológicas que respaldan la plataforma de Nvidia.