AI-hallucination höll på att utlösa en amerikansk militär operation

Militära flygplan var redan i luften i våras när amerikanska tjänstemän upptäckte att underrättelserna bakom en väpnad operation mot ett kinesiskt fartyg hade skapats av en AI-chattbot, rapporterade CNN. Operationen avbröts i sista stund, vilket med knapp marginal avvärjde en möjlig konflikt med Kina.

Underrättelserapporten, som cirkulerade under kriget med Iran, hävdade att fartyget transporterade komponenter till ett kärnvapenprogram. Enligt rapporten använde en analytiker vid Special Operations Command en AI-chattbot för att kombinera information från öppna källor med hemlig signalspaning. Chattboten identifierade fartygets lastmanifest fel. Analytikern använde sedan verktyget igen för att formatera de felaktiga uppgifterna som en officiellt utformad sammanfattning, som spreds i ledningskanaler.

Händelsen belyser farhågor om att AI-fel kan färdas upp genom befäls­kedjan innan någon ifrågasätter dem, samtidigt som den amerikanska militären försöker använda AI för snabbare beslut och för att behålla sitt övertag över Kina. Pentagon har sagt att AI kan snabba upp den så kallade kill chain, men snabb användning kan också sprida hallucinationer när den mänskliga tillsynen är otillräcklig.

”Det är viktigt att militär personal förstår den osäkerhet som ligger inbyggd i LLM:er”, sade Jake Steckler, forskare vid GovAI och tidigare officer i U.S. Army, i ett skriftligt svar till TechCrunch. Han sade att skyddsåtgärder är särskilt viktiga vid målval, underrättelseanalys och operativ planering, och att händelsen bör leda till säkrare användning snarare än att tekniken överges.