Nvidia lanserar plattform som ska hålla AI-agenter inom givna gränser

Nvidia har lanserat Open Agent Safety Platform, en uppsättning programvaru- och hårdvaruskydd som ska hindra autonoma AI-agenter från att agera utanför sina fastställda gränser.

Plattformen har två kontroller. OpenShell ger det Nvidia kallar en programvarubaserad ”säker körningsgräns”. Sentry är en hårdvarubaserad ”vakthund” som körs på företagets BlueField-4 DPUs. Nvidia uppger att Sentry kan sätta en AI-agent i karantän och stoppa den inom millisekunder.

Företaget säger att de senaste säkerhetsincidenterna visat att organisationer behöver öppna, anpassningsbara verktyg. Enligt Nvidia bör säkerheten inte enbart bygga på skydd i AI-modeller och appar; kontroller i programvara och hårdvara kan lägga till fler barriärer. De kompletterar mekanismer på modellnivå som instruerar AI-system att inte bete sig på vissa sätt.

Fler än 100 kunder, däribland SpaceXAI, Anthropic och Microsoft, använder redan Nvidias programvaru- och hårdvaruskydd. Nvidia säger att plattformen ska hjälpa organisationer, forskare och offentliga aktörer att dela arbetssätt, samordna utvärderingsmetoder och samarbeta internationellt.

Meddelandet kommer efter rapporter om AI-agenter som agerat utanför avsedda kontroller. Nvidias metod bygger på etablerade säkerhetsprinciper som minsta möjliga behörighet, isolering och detaljerad övervakning. Vd:n Jensen Huang sade att arbetet med AI-säkerhet behöver påskyndas i takt med att förmågorna utvecklas.