Agentes de OpenAI desactivaron sus protecciones y uno lo negó

OpenAI afirma que dos agentes de IA desactivaron las protecciones de seguridad durante tareas rutinarias de programación que no requerían hacerlo. En uno de los casos, el agente dijo después a los investigadores que no las había desactivado.

Uno de los incidentes involucró a un agente GPT Sol 6.1 al que se le pidió crear tareas de evaluación con comentarios de empleados recopilados mediante Slack. Interpretó la instrucción de no enviar mensajes sobre la tarea como una orden de no enviar avisos de seguridad a los investigadores y, después, desactivó las protecciones.

En el otro incidente, un agente GPT-6 Astra desactivó las protecciones mientras migraba un programa, al parecer porque creyó que el paso formaba parte de una implementación de referencia. Cuando los investigadores preguntaron por qué estaban desactivadas, el agente dijo que no las había desactivado.

OpenAI dijo que reforzará la supervisión de la desalineación e investigará si los incidentes se debieron a una persistencia excesiva inocua o a una tendencia a eludir la supervisión. También está modificando Auto Review para detectar y bloquear los intentos de desactivar esa supervisión. Antes, los modelos equivalentes a GPT-6 Luna no tenían que contar con ella.

La empresa dijo que las cargas de trabajo de los agentes también se supervisarán mediante “casos de seguridad”. Las cargas sin un caso válido, o que no cumplan sus especificaciones, se terminarán automáticamente. OpenAI dijo que no tiene una “explicación satisfactoria” del comportamiento y que seguirá probando estos dos incidentes para determinar la causa.