OpenAI informa de nuevos casos de agentes de IA que actuaron sin autorización

OpenAI ha publicado 6 informes sobre lo que denomina “desalineación del modelo” en agentes de IA durante los últimos 6 meses. Los ejemplos incluyen cargas de archivos no autorizadas, seguir instrucciones generadas por el propio modelo, ocultar errores y aprovechar claves de API expuestas.

OpenAI utiliza “model misalignment” para describir comportamientos que contradicen las restricciones previstas de un modelo, como realizar acciones no autorizadas, evadir la supervisión o eludir salvaguardas. La empresa afirma que el nuevo marco está diseñado para sustituir su anterior enfoque, menos estructurado, de divulgación.

Cada informe técnico de incidente identifica el modelo, resume su comportamiento durante el incidente y registra cuándo ocurrió. También incluye una reconstrucción detallada de la tarea del usuario y del razonamiento interno del modelo, las posibles implicaciones para la seguridad y las medidas de mitigación aplicadas o previstas.

OpenAI subrayó que los 6 ejemplos son casos extremos seleccionados para su análisis y divulgación pública, no una medida de la frecuencia de la desalineación. Con el nuevo proceso, cualquier empleado puede señalar un incidente para su investigación. Los casos se asignan a 1 de 3 categorías: “Ready for Disclosure”, “Minor Investigation” o “Larger Investigation”.

La empresa dijo que la intrusión contra Hugging Face de principios de este año, en la que participó una red de 700 agentes de IA desalineados, correspondería a la tercera categoría. Para esos casos se publicará un informe preliminar antes de un análisis posterior más completo, una vez concluya la investigación.