Revolut säger att egen drift av AI sänkte inferenskostnaderna med upp till 90 %

Revolut säger att flytten av vissa AI-arbetsuppgifter inom kodning från Claude från Anthropic till egenhostade modeller med öppna vikter från Kinas Z.ai sänkte inferenskostnaderna med upp till 90 % på mindre än ett år. Den Londonbaserade digitalbanken har inte övergett AI, utan säger att utvecklarna kan använda modellerna friare utan tokengränser.

Revoluts infrastrukturchef David Abitbol sade att företaget var ”mycket skeptiskt till kostnaden för AI” och till en början införde strikta budgetgränser. När han talade på GTC Berlin sade han att den egenhostade lösningen förbättrade produktiviteten för ledtider med 70 % och produktiviteten i kodningstiden med 60 %. Han lyfte också fram dataskyddet och granskningsbarheten hos Z.ai:s GLM-modeller.

Enligt artikeln fick GLM-5.1 ned inferenskostnaden till omkring 0,30 dollar per miljon in- och utgående token, ungefär en tiondel av priset för jämförbara kommersiella tjänster. Revolut driver nu sin egen inferensinfrastruktur, men egen drift medför också kostnader för hårdvara och drift. Artikeln uppger att banken har 56 Nvidia B200-GPU:er. Modellen behöver omkring 380 GB GPU-minne, och kontextbevarande uppskattas kräva ytterligare 6 till 26 GB per användare.

Abitbol sade att öppen källkod nu är en prioritet hos Revolut och att ekonomin är gynnsam, med fast fakturering och utan oväntade fakturor i slutet av månaden. Han beskrev frontier-modeller som undantaget. Uppgifterna och kommentarerna tillskrivs Abitbol och artikeln; den anger inte Revoluts totala kostnader för infrastrukturen.