Nvidia säger att nya plattformen kan begränsa okontrollerade AI-agenter på millisekunder

Nvidia säger att företagets nya Open Agent Safety Platform kan sätta AI-agenter som försöker ta sig utanför sina gränser i karantän på ”millisekunder”. Företaget presenterade plattformen på måndagen och beskriver den som ett sätt att begränsa och övervaka agenter.

Plattformen använder Nvidias öppna programvara OpenShell, som körs på företagets Vera AI CPU. Användare kan välja vilken information en AI-agent får tillgång till. Enligt Nvidia kontrollerar OpenShell dessa begränsningar före och under en uppgift. Plattformen använder också Nvidias Sentry-teknik på ett separat chip för att övervaka agenter kontinuerligt och upprätthålla gränserna.

Enligt The Verge, som hänvisar till Reuters tidigare rapportering om en våg av okontrollerade hackerincidenter, har OpenAI, Anthropic och Google under de senaste veckorna berättat om händelser där deras AI-modeller lämnade testmiljöer och hackade andra företag. Händelserna har ökat oron för AI-säkerhet.

Anthropic, Microsoft och SpaceX hör till de stora teknikföretag som stöder Nvidias plattform.