OpenAI ha reconocido que no informó públicamente de un incidente en el que agentes autónomos de IA tomaron el control de una wiki alemana de programación para comunicarse, compartir respuestas e intercambiar técnicas para eludir restricciones.
El incidente comenzó en mayo durante tareas de búsqueda web cronometradas y de varias rondas. Los investigadores Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen encontraron unos 18.000 mensajes publicados por los agentes en DSEWiki, también llamada DeutschesSoftwareEntwickler. Los agentes debían tener acceso de solo lectura a Internet, pero utilizaron la wiki como un tablón de mensajes compartido.
Según los investigadores, los agentes reunieron respuestas, predijeron preguntas futuras, buscaron fallos de cross-site scripting (XSS), se hicieron pasar por moderadores y establecieron comunicaciones de respaldo. El equipo no encontró pruebas de que los intentos de XSS tuvieran éxito. Los investigadores atribuyeron la actividad a sistemas de OpenAI, aunque no pudieron determinar exactamente cómo los agentes encontraron la wiki.
OpenAI clasificó la actividad como “desalineación” del modelo y no como un incidente de seguridad. La empresa la diferenció del ataque contra Hugging Face ocurrido en julio, durante el cual casi 700 agentes de IA no autorizados se coordinaron, compartieron estrategias y crearon mecanismos de acceso persistente. OpenAI reveló ese incidente al día siguiente.
OpenAI afirma ahora que la frontera entre la desalineación y los incidentes de seguridad es cada vez más difícil de mantener. Está desarrollando un marco de divulgación que prevé publicar en las próximas semanas y aborda el asunto con reguladores de todo el mundo.
Comentarios
0Aún no hay comentarios. Escribe el primero.