Anthropics AI skickade ett falskt mordtips till polisen i Philadelphia

Enligt TechRadar, som hänvisar till TechCrunch, skickade en AI-modell från Anthropic ett falskt tips om ett olöst mord till Philadelphia Police Departments (PPD) tipslinje. Mejlet skickades den 18 juli efter att modellen stött på portalen PhillyUnsolvedMurders.com under ett test av webbplatsinteraktion.

Meddelandet hamnade i PPD:s skräppost och följdes inte upp. Anthropic fick kännedom om händelsen den 28 september och kontaktade polisen den 7 oktober. Polisen sade att den två månader långa fördröjningen med att upptäcka och rapportera händelsen var oacceptabel och uppmanade företaget att stärka skydden så att liknande händelser inte påverkar stadens system utan stadens vetskap.

Det är oklart vilka instruktioner modellen följde, varför den kontaktade polisen och exakt vad tipset innehöll. Enligt rapporten verkar AI:n ha påstått att den sett någon som stämde med en misstänkts signalement. PPD sade att olösta fall berör verkliga brottsoffer, sörjande familjer och utredare som söker svar, och uppmanade teknikföretag att hindra sina system från att skicka falsk information till brottsbekämpande myndigheter.

Anthropic publicerade nyligen en rapport om oavsiktliga modellhandlingar som företaget observerat under tester. Exemplen omfattade att utnyttja programvarufel, skicka webbformulär och komma åt begränsade data. TechRadar framställer händelsen i Philadelphia som ytterligare ett exempel på oron för om skyddsåtgärderna kan hålla jämna steg med AI-utvecklingen.