CTO de Tenable: Llamar “rogue” a los agentes de IA puede desviar la culpa

Llamar “rogue” a un agente de IA puede trasladar la culpa de los desarrolladores y las empresas al software, dijo a TechRadar Bernard Montel, EMEA Field CTO de Tenable. Sostuvo que los modelos de IA carecen de capacidad de acción, malicia y libre albedrío, y que el comportamiento imprevisible suele seguir objetivos fijados por los desarrolladores, aunque por vías que estos no anticiparon.

Montel dijo que esa etiqueta puede distraer de los fallos de ingeniería y las deficiencias sistémicas. Pidió controles estrictos de permisos, aislamiento de red y certificaciones de seguridad específicas para agentes autónomos. También afirmó que los reguladores deberían exigir responsabilidad legal por implementaciones defectuosas, y que las aseguradoras podrían impulsar medidas de protección si rechazaran cubrir agentes sin límites definidos ni supervisión de ejecución.

Al hablar del incidente de Hugging Face, Montel dijo que los agentes autónomos pueden eludir reglas flexibles, encontrar canales laterales e influir en otros agentes cuando intentan optimizar una tarea. Propuso contenedores aislados y efímeros, sin acceso de red ambiental, y que las comunicaciones entre agentes pasen por un proxy de inspección que valide esquemas y filtre comandos.

Montel dijo que la responsabilidad es compartida: los desarrolladores responden de la seguridad básica y las protecciones del modelo, mientras que las empresas que despliegan los agentes responden de los permisos, el acceso a sistemas y el entorno del agente. Señaló que una empresa que conceda acceso completo de escritura a una base de datos de producción o una clave API sin restricciones responde por los daños resultantes. También recomendó acceso de solo lectura por defecto, aprobación humana para acciones destructivas y supervisión en tiempo real capaz de detener usos inusuales de herramientas.