Satya Nadella vill ha en ”nödbroms” för AI-modeller

Microsofts vd Satya Nadella vill att AI-system ska utformas med starkare kontroller. Han säger att de bör ha en ”nödbroms” som gör det möjligt för en behörig person att pausa eller stänga av en modell mitt i en uppgift.

I ett inlägg på X på lördagsmorgonen skrev Nadella att det är dags att ”ta ett steg tillbaka och se över AI:s tillitsarkitektur”. Han menade att man inte bör behandla ”Super Intelligence” som nästlade svarta lådor vars rekommendationer, svar och handlingar bara accepteras eller avvisas.

Nadella föreslog att modellen skiljs från det ”harness” som samordnar dess arbete och att kontroller och skyddsåtgärder placeras utanför modellen. Han efterlyste också manipulationssäkra, mänskligt läsbara belägg för varje meningsfull modellhandling. ”Vi måste utgå från att en modell är komprometterad och begränsa den från början”, skrev han.

Uttalandena kommer samtidigt som ledande AI-företag erkänner fler incidenter där de verkade ha förlorat kontrollen över sina modeller. De följer också en plan för försiktigare AI-utveckling som Anthropic-vd:n Dario Amodei har publicerat.