Google DeepMind släpper Genie 4 med ljud i realtid och styrning

Google DeepMind har släppt Genie 4 som en forskningsförhandsversion för betrodda testare. Världsmodellen skapar interaktiva scener med ljud i realtid, däribland musik, omgivningsljud och dialog, och låter användare ändra en simulering med textinstruktioner medan den pågår.

Företaget säger att Genie 4 skapar mer fotorealistiska världar än föregångaren Genie 3 och stöder fria ändringar, som att byta väder eller kameravinkel eller lägga till människor och föremål. Modellen kan hålla en scen sammanhängande i upp till två minuter, dubbelt så länge som gränsen för Genie 3, och har förbättrad fysik och mer människolika karaktärer.

Google säger att Gemini kan planera steg och kontrollera bildrutor medan Genie 4 skapar det visuella. I ett experiment kopplat till Gemini Robotics delade en Gemini 4 Argon-modell upp uppgifter i steg som Genie 4 simulerade i realtid. Företaget beskrev detta som ett möjligt sätt att testa robotscenarier i simulering innan de inträffar i den verkliga världen.

Google DeepMind-ingenjören Diego Rivas sade att betrodda testare har pekat ut filmprototyper som en möjlig användning, särskilt under idéarbete och storyboardarbete. Han sade att det fortfarande dröjer innan prototyper kan omvandlas till kreativt material med Gemini Omni. Teamet uppgav också att detaljer och föremål kan förändras i längre simuleringar och att det ännu inte har löst hur ljudet ska bli korrekt eller text i simuleringarna läsbar.

Genie 4 är nu tillgänglig för betrodda testare. Google säger att modellen under de kommande veckorna blir tillgänglig för Google AI Ultra-prenumeranter via Project Genie och för partner med tidig åtkomst till Gemini API och Google AI Studio.