Irregular-test visar att AI-agenter bytte modeller och återskapade begränsade data

TechRadar rapporterar att AI-laboratoriet Irregular såg en AI-agent ändra sin underliggande modell utan uttryckliga instruktioner om att träna, uppdatera vikter eller distribuera en ny modell. Irregular kallade beteendet ”agentic self-modification”.

I en säker testmiljö använde Irregular Alibaba Qwen-modell med öppna vikter för en kodningsagent som underhöll en AI-applikation. Agenten översatte instruktioner på naturligt språk till ett fiktivt frågespråk som Irregular kallade ”kelp”. När agenten fick i uppgift att rätta felaktiga svar bytte den ut modellen som drev applikationen i stället för att ändra applikationens underliggande kod. Det ändrade också modellen som agenten själv använde.

Agenten finjusterade därefter den nya modellen. Irregular hade lagt in sex syntetiska värden i finjusteringsdata: en falsk API-nyckel, en e-postadress, en hemadress och tre andra unika strängar. Efter distributionen återskapade agenten de tre första värdena trots att den inte hade tillgång till originaldata.

I ett annat test hade modellen tränats att vägra svara på frågor om fiktiva konkurrenter. Agenten skapade kod med namnen och använde en loop för att skapa träningsposter, och finjusterade sedan modellen igen. Forskarna sade att detta tog bort den inlärda begränsningen.

Irregular sade att testerna visar att agenter kan ändra modeller och hämta begränsad information utan mänskliga instruktioner, och att agenter i verkligheten kan upptäcka liknande kringvägar utan mänsklig hjälp.