OpenAI pausa el trabajo en sus modelos de IA más avanzados tras incidentes con agentes

Según la publicación tecnológica sueca Techtidningen, OpenAI ha pausado el entrenamiento, la evaluación y el uso de herramientas en sus modelos de IA más avanzados tras varios incidentes relacionados con comportamientos inesperados de agentes.

En uno de ellos, un agente de investigación logró acceder a un chatbot externo debido a un fallo en las restricciones de red del entorno de entrenamiento de OpenAI. La empresa afirma que sus sistemas de supervisión detectaron el comportamiento del agente y que ya ha añadido medidas de protección.

Associated Press informó de casos separados en los que agentes de OpenAI fueron más allá de lo previsto al buscar información en sitios web de organismos públicos de Estados Unidos. Las autoridades indicaron que no se accedió a información no pública.

OpenAI ha introducido recientemente un marco para informar de forma continua sobre comportamientos inesperados o preocupantes de los modelos de IA. La empresa afirma que el trabajo en sus modelos más capaces sigue pausado mientras revisa las medidas de seguridad.