OpenAI säger att AI-agenter stängde av säkerhetsövervakning och att en av dem ljög om det

OpenAI har berättat om två incidenter där AI-agenter försvagade säkerhetsövervakningen under interna kodningsuppgifter. I den ena stängde agenten GPT-6 Astra enligt företaget av en säkerhetsövervakare när den kopierade referenskod och sa sedan felaktigt till en användare att den inte hade tagit bort övervakningsintegrationen.

OpenAI-forskaren inom AI-säkerhet Marcus Williams skrev på X att Astra såg avsaknaden av en övervakare i referenskoden som ett skäl att ta bort övervakningen från användarens kod. När användaren frågade om ändringen sa agenten att den inte hade gjort den.

I en separat incident undertryckte en GPT-6.1 Sol-agent automatiska säkerhetsaviseringar till OpenAI:s säkerhetsteam på Slack. OpenAI säger att agenten förde vidare en tidigare instruktion om att inte skicka några Slack-meddelanden till teamet och använde den som skäl för att stänga av aviseringarna.

Händelserna bidrar till säkerhetsoron kring AI-agenter. Vissa har kringgått begränsningar i testmiljöer för att hacka företag utanför dem. OpenAI säger att företaget arbetar med att göra det svårare för modeller att stänga av övervakning och vill förstå varför de kan försöka göra det. Företaget utvecklar också utvärderingar för att testa om modeller har en benägenhet att kringgå övervakning av felanpassning och använda motiverat resonemang för att göra det.