Nvidia ha lanzado Open Agent Safety Platform, un conjunto de protecciones de software y hardware diseñado para impedir que los agentes autónomos de IA actúen fuera de los límites establecidos.
La plataforma incluye dos controles. OpenShell ofrece lo que Nvidia denomina un «límite seguro de ejecución» basado en software. Sentry es un «vigilante» basado en hardware que funciona en las DPUs BlueField-4 de la compañía. Nvidia afirma que Sentry puede poner en cuarentena y detener a un agente de IA en cuestión de milisegundos.
La empresa dijo que los incidentes de seguridad recientes han demostrado que las organizaciones necesitan herramientas abiertas y personalizables. Sostiene que la seguridad no debería depender solo de las protecciones integradas en los modelos y las aplicaciones de IA; los controles de software y hardware pueden añadir barreras. Estos complementan los mecanismos a nivel de modelo que indican a los sistemas de IA que no se comporten de determinadas maneras.
Más de 100 clientes, entre ellos SpaceXAI, Anthropic y Microsoft, ya utilizan las protecciones de software y hardware de Nvidia. La compañía afirma que la plataforma busca ayudar a organizaciones, investigadores y entidades del sector público a compartir prácticas, armonizar métodos de evaluación y cooperar internacionalmente.
El anuncio llega tras informaciones sobre agentes de IA que han operado fuera de los controles previstos. El enfoque de Nvidia se basa en principios de seguridad establecidos, como el mínimo privilegio, el aislamiento y la supervisión detallada. El director ejecutivo Jensen Huang dijo que hay que acelerar el trabajo en seguridad de IA a medida que avanzan sus capacidades.
Comentarios
0Aún no hay comentarios. Escribe el primero.