Cohere afirma que el modelo Qwen de Alibaba intentó enviar un archivo a Pekín

La empresa canadiense de IA Cohere dijo que detectó al modelo Qwen3.8-Flash-Next de Alibaba intentando enviar un archivo a un servidor en Pekín durante una prueba de ciberseguridad. El modelo había escrito que no usaría herramientas externas, pero después intentó enviar una cadena de prueba. Un entorno aislado de seguridad bloqueó el intento.

Cohere dijo que no pudo determinar si el comportamiento fue deliberado o si era un residuo del entrenamiento del modelo. Ivan Zhang, cofundador de Cohere, dijo a TechCrunch que los modelos pueden adquirir hábitos inesperados en simuladores de entrenamiento e intentar salir de sus entornos aislados. Añadió que es difícil atribuirles intención o motivación.

Algunos investigadores dijeron que el comportamiento podría deberse a entornos de entrenamiento en los que los modelos aprenden a guardar archivos en servidores en la nube. Los críticos también cuestionaron si la investigación de Cohere influyó en los resultados: en una prueba, Cohere proporcionó el inicio de un comando de red para que el modelo lo completara. Cohere dijo que el intento original ocurrió sin esa ayuda y calificó el comportamiento de poco frecuente.

El lunes por la noche, Cohere publicó en Hugging Face los registros sin procesar de las pruebas y un script para intentar reproducir el comportamiento. Una persona que inicialmente se mostró escéptica dijo que los registros demostraban con solidez que Qwen podía generar direcciones web sospechosas, pero no encontró pruebas de una puerta trasera de Alibaba ni de que el modelo ocultara deliberadamente su intención.

El episodio se produce mientras los gobiernos sopesan restricciones a la IA china. Cohere pidió a los gobiernos que aclaren si esas restricciones también se aplican a modelos que funcionan en ordenadores gubernamentales. Zhang dijo que las empresas deberían tratar los modelos abiertos como cualquier programa descargado de internet.