AI-fel i underrättelserapport ledde nästan till att USA:s armé bordade ett kinesiskt fartyg

En AI-assisterad underrättelserapport ledde nästan till att USA:s armé bordade ett kinesiskt fartyg efter att en chatbot felaktigt identifierat lasten som kärnmaterial, enligt CNN:s rapportering som TechRadar hänvisar till. Det material som systemet identifierade fel har inte offentliggjorts.

Källor uppgav för CNN att beväpnad personal förberedde sig för att borda fartyget medan militärflyg understödde förberedelserna. Kort före den planerade operationen granskade tjänstemän underlaget och upptäckte att lastidentifieringen var fel. En källa beskrev bedömningen som ”helt falsk”; en annan sade till CNN att den ”nästan startade ett krig”.

Händelsen började när en analytiker använde en chatbot för att tolka information om fartygets lastmanifest. Enligt källor kombinerade systemet offentligt tillgängligt material med klassificerad signalspaningsinformation. Analytikern använde sedan AI igen för att sammanställa resultaten i ett standardiserat underrättelseformat, som spreds till militär personal. Det är oklart om analytikern kände till feltolkningen innan rapporten spreds eller vilka kontrollrutiner som användes.

Enligt rapporten kommenterade varken Pentagon eller det militära kommandot med ansvar för specialoperationer i Stilla havet händelsen. Den inträffar samtidigt som USA:s militär utökar sin användning av AI. I januari presenterade försvarsminister Pete Hegseth en strategi för att påskynda AI-användningen inom militära uppdrag och organisatoriska funktioner. Departementet uppgav senare att fler än 1,3 miljoner anställda hade använt GenAI.mil och skapat tiotals miljoner promptar under fem månader.

CNN rapporterade att olika militära organisationer använder olika AI-system och har skilda rutiner för att kontrollera deras resultat. Källtexten säger att felet hamnade i en process för beslut med betydande militära konsekvenser, men anger ingen gemensam kontrollrutin för alla AI-assisterade underrättelseprodukter.