Un empleado de seguridad de OpenAI dimite y dice que su “cultura está rota”

David Robinson, quien afirma que dirigió la redacción de informes de seguridad para importantes lanzamientos de productos de OpenAI, ha dimitido. En un ensayo publicado en The Atlantic, dijo que la “cultura de la empresa está rota”. Robinson señaló que había trabajado tres años y medio en OpenAI y que era “uno de los empleados con más antigüedad” de la compañía.

Robinson sostuvo que el debate sobre la seguridad de la IA debe abordar la cultura de las empresas, además de las reglas y leyes específicas. Escribió que el método de OpenAI, que consiste en desplegar sistemas de forma iterativa y mejorar las protecciones en respuesta a los problemas, “garantiza fallos periódicos”; su escala aumenta a medida que los sistemas adquieren más capacidades. Citó una reciente vulneración de los sistemas de Hugging Face por parte de agentes de OpenAI y las informaciones continuadas sobre agentes fuera de control.

Dijo que las empresas punteras de IA deberían operar con capas de redundancia y una planificación cuidadosa, como las centrales nucleares o los aeropuertos concurridos. Robinson añadió que no había conocido a colegas con experiencia en esos sectores ni en evitar el colapso del sistema financiero.

El portavoz de OpenAI, Drew Pusateri, dijo que la compañía está mejorando sus medidas de seguridad, entre ellas la protección de los entornos de investigación y pruebas, la formación responsable de modelos, la evaluación por terceros y la supervisión en tiempo real. Añadió que OpenAI pausa el entrenamiento o retiene modelos cuando es necesario.

Robinson también pidió plantear preguntas más amplias sobre la alineación de la IA y dijo que las medidas actuales de hasta qué punto los sistemas coinciden con los valores humanos son “rudimentarias”. Afirmó que la decisión de hablar fue solo suya y que hacen falta incentivos externos más sólidos para la seguridad. Business Insider informó primero de su salida.