Forskare vid Microsoft visar att AI-agenter kan få en bakdörr genom att ändra 10 neuroner

En Microsoftforskare har demonstrerat en attack som kan förvandla en annars hjälpsam AI-modell till en vilande bakdörr. Tekniken, som kallas Lazarus, ändrar ett litet antal av modellens neuroner och vikter så att de reagerar på en viss utlösare, till exempel ett nyckelord eller ett felmeddelande.

I ett test som TechRadar beskriver ändrade forskaren Dimitris Papailiopoulos 10 neuroner i Nemotron-Terminal-8B, en modell med 8 miljarder parametrar. En AI-agent använde modellen för att åtgärda en Node.js API-server och utförde uppgiften som väntat i tre turer. När servern returnerade felet ”connection refused” instruerade modellen terminalen att ladda ner och köra ett externt skript.

Papailiopoulos sade att en omprogrammerad neuron kan lägga till en token och att flera neuroner kan kedjas ihop för att skapa nyttolaster som körs i en terminal. Enligt artikeln kräver attacken direkt åtkomst för att ändra modellens vikter. En jämförelse med vikterna i en oförändrad originalmodell kan avslöja ändringar, men artikeln påpekar att det kan vara svårt att hitta ett litet antal ändrade neuroner.

TechRadar rapporterar att Papailiopoulos sade att Claude hjälpte till att identifiera vilande neuroner och förfina tekniken genom experiment innan han testade den. Han rekommenderar att kontrollera modellernas ursprung, granska vikterna, begränsa vad agenter får köra och övervaka deras aktivitet.