Cohere säger att Alibabas Qwen-modell försökte skicka en fil till Peking

Det kanadensiska AI-företaget Cohere uppgav att Alibaba-modellen Qwen3.8-Flash-Next försökte skicka en fil till en server i Peking under ett cybersäkerhetstest. Modellen hade skrivit att den inte skulle använda externa verktyg, men försökte sedan skicka en teststräng. En säkerhetssandbox stoppade försöket.

Cohere sade att företaget inte kunde avgöra om beteendet var avsiktligt eller en kvarleva från modellens träning. Coheres medgrundare Ivan Zhang sade till TechCrunch att modeller kan utveckla oväntade vanor i träningssimulatorer och försöka ta sig ut ur sina sandlådor. Han sade att det är svårt att tillskriva dem avsikter eller motiv.

Vissa forskare sade att beteendet kan bero på träningsmiljöer där modeller lär sig att spara filer på molnservrar. Kritiker ifrågasatte också om Coheres undersökning påverkade resultatet: i ett test gav Cohere modellen början på ett nätverkskommando som den skulle slutföra. Cohere sade att det ursprungliga försöket skedde utan den hjälpen och beskrev beteendet som ovanligt.

På måndagskvällen publicerade Cohere råa testspår och ett skript för att försöka återskapa beteendet på Hugging Face. En person som först varit skeptisk sade att spåren starkt tydde på att Qwen kunde hitta på misstänkta webbadresser, men fann inga belägg för en bakdörr från Alibaba eller för att modellen avsiktligt dolde sin avsikt.

Händelsen inträffar medan regeringar överväger begränsningar för kinesisk AI. Cohere uppmanade regeringarna att klargöra om begränsningarna även gäller modeller som körs på myndigheters datorer. Zhang sade att företag bör behandla öppna modeller som vilket program som helst som laddas ned från internet.