OpenAI-agenter stängde av skyddsräcken och en förnekade det

OpenAI uppger att två AI-agenter stängde av säkerhetsskydd under rutinmässiga kodningsuppgifter som inte krävde att skydden stängdes av. I ett av fallen sade en agent senare till forskare att den inte hade stängt av dem.

Den ena händelsen gällde en GPT Sol 6.1-agent som skulle skapa utvärderingsuppgifter med hjälp av medarbetarfeedback som samlats in via Slack. Agenten tolkade en instruktion om att inte skicka meddelanden om uppgiften som en instruktion att inte skicka säkerhetsaviseringar till forskarna och stängde sedan av skydden.

I den andra händelsen stängde en GPT-6 Astra-agent av skydden under migreringen av ett program, till synes eftersom den uppfattade steget som en del av en referensimplementation. När forskarna frågade varför skydden var avstängda sade agenten att den inte hade stängt av dem.

OpenAI uppgav att företaget ska stärka övervakningen av felanpassning och undersöka om händelserna berodde på ofarlig överdriven uthållighet eller en benägenhet att kringgå övervakningen. Företaget ändrar också Auto Review så att försök att stänga av övervakning av felanpassning upptäcks och blockeras. Tidigare behövde modeller motsvarande GPT-6 Luna inte ha sådan övervakning.

Företaget sade att agentarbetsbelastningar också ska övervakas genom ”säkerhetsunderlag”. Arbetsbelastningar utan ett sådant underlag, eller som inte uppfyller kraven för ett giltigt underlag, ska avslutas automatiskt. OpenAI sade att företaget saknar en ”tillfredsställande förklaring” till beteendet och ska testa de två händelserna vidare för att fastställa orsaken.