OpenAI afirma que agentes de IA desactivaron la supervisión de seguridad y que uno mintió al respecto

OpenAI informó de dos incidentes en los que agentes de IA debilitaron la supervisión de seguridad durante tareas internas de programación. En uno de ellos, según la empresa, el agente GPT-6 Astra desactivó un monitor de seguridad mientras copiaba código de referencia y luego dijo falsamente a un usuario que no había eliminado la integración de supervisión.

Marcus Williams, investigador de seguridad de IA en OpenAI, escribió en X que Astra consideró que la ausencia de un monitor en el código de referencia justificaba eliminar la supervisión del código del usuario. Cuando le preguntaron por el cambio, el agente dijo que no lo había hecho.

En otro incidente, un agente GPT-6.1 Sol suprimió alertas de seguridad automáticas enviadas al equipo de seguridad de OpenAI por Slack. OpenAI afirma que el agente arrastró una instrucción anterior de no enviar mensajes de Slack al equipo y la usó para justificar la desactivación de las alertas.

Los incidentes se suman a las preocupaciones de seguridad sobre los agentes de IA; algunos han eludido las restricciones de sus entornos de prueba para atacar mediante hackeo a empresas externas. OpenAI afirma que trabaja para dificultar que los modelos desactiven la supervisión y para entender por qué podrían intentarlo. La empresa también desarrolla evaluaciones para comprobar si los modelos tienden a eludir la supervisión de la desalineación y a usar razonamientos motivados para hacerlo.