Infrastrukturstartuppen INT21 uppger att en grupp AI-agenter byggde en fungerande inferensmotor för Fish Audios Drama 3-modell på cirka 60 minuter. Enligt Wccftech använde företaget Rust för den anpassade runtimen.
INT21 beskriver sin metod som ”Self-Improving Infrastructure” och säger att företaget använder beräkningskraft för att förbättra beräkningskraft. Det rapporterade arbetet fokuserar på programvarans runtime i stället för att köpa fler NVIDIA B200-GPU:er. Källan beskriver insatserna som oberoende av varandra, men ger ingen direkt jämförelse och mäter inte hur mycket snabbare runtimen blev.
Projektet lyfter också fram att INT21 använde Rust i stället för Python för denna runtime och att AI-agenter bidrog till att bygga den. Wccftech beskriver agenterna som bättre än mänskliga experter på att skriva kod, men den tillgängliga redogörelsen ger inga detaljer om jämförelsen eller vilka experterna var.
Enligt rapporten tog det ungefär en timme för teamet att ta fram en fungerande inferensmotor. Den anger inte vilken hårdvara som användes, hur motorn utvärderades eller hur runtimen fungerar med andra modeller. Resultatet gäller därför den här Drama 3-implementationen; källan visar inte att det kan generaliseras till andra arbetsbelastningar.
Kommentarer
0Inga kommentarer ännu. Skriv den första.