Anthropic sätter 50 dödsfall som gräns i lagförslag om att stoppa en AI-modell

Anthropic cirkulerar ett utkast till lagförslag som skulle låta federala myndigheter begära ett domstolsbeslut för att stoppa lanseringen av en AI-modell som utgör en definierad katastrofrisk, enligt TechCrunch, som hänvisar till Politico.

Utkastet definierar en ”förutsebar, överhängande risk” som en risk där fler än 50 personer kan dö eller där egendomsskadorna kan överstiga 1 miljard dollar. Risken måste härröra från att ett biologiskt vapen skapas eller släpps, att en modell kringgår utvecklarens kontroller eller från en cyberattack. Enligt artikeln liknar gränsvärdena dem i Kaliforniens nyligen antagna Senate Bill 53.

Förslaget föreskriver ”oberoende utvärderare” registrerade hos USA:s handelsdepartement för att bedöma möjliga risker. AI-labb skulle få betala dem, förutsatt att betalningen inte är beroende av utvärderingsresultaten. Artikeln säger att det är oklart hur systemet ska säkerställa att betalningar inte påverkar utvärderingarna.

Om utvärderarna identifierar en överhängande katastrofrisk skulle de ha 72 timmar på sig att underrätta handelsdepartementet. Departementet skulle därefter behöva be en domare i D.C. att stoppa lanseringen. Utkastet skulle hindra federala myndigheter från att stoppa distributionen på egen hand.

En talesperson för Anthropic bekräftade utkastet för Politico och sade att det speglar förslagen i företagets Advanced AI Framework, som Anthropic har förespråkat inför federala lagstiftare och delstatslagstiftare sedan juni. Anthropic svarade inte omedelbart på TechCrunchs begäran om en kommentar. Artikeln konstaterar att branschens senaste oro till stor del har handlat om rapporter om AI-agenter som hackar webbplatser, och att teknikföretag i allmänhet har motsatt sig obligatorisk statlig tillsyn.