Företags-AI behöver modeller, hårdvara och driftsättning som passar arbetsuppgiften

I en opinionsartikel i TechRadar hävdar Emma Cloney, en chef på Core42, att företag som går från pilotprojekt till AI i produktion möter kostnader som kan öka när applikationerna används oftare eller när agenter anropar flera modeller för att utföra en uppgift.

Cloney säger att företag bör välja modeller och acceleratorer utifrån varje arbetsuppgift i stället för att som standard välja de kraftfullaste alternativen. Mindre modeller kan hantera rutinmässig klassificering, informationsutvinning och dirigering. Medelstora modeller kan stödja vardagligt resonemang, medan större modeller kan passa för komplexa resonemang, strategisk planering och uppgifter där korrekthet och nyanser är viktiga.

Även valet av hårdvara beror på arbetsuppgiften. Applikationer med låga svarstidskrav behöver system som reagerar snabbt, medan arbetsflöden med stora volymer kan gynnas mer av kapacitet och kostnadseffektivitet. Cloney menar att samma hårdvara för alla uppgifter kan innebära att man betalar för prestanda som vissa applikationer inte utnyttjar. Hon säger att en blandning av acceleratorer kan ge företag större flexibilitet och nämner NVIDIA, AMD, Qualcomm, Microsoft och Cerebras som möjliga leverantörer.

Som exempel uppger artikeln att Cerebras har kört OpenAI:s gpt-oss-120b med omkring 3 000 token per sekund, en hastighet som enligt Cloney är värdefull när svarstiden är avgörande. Hon lyfter också fram driftsättningsplats och lokal kontroll, särskilt för myndigheter och företag som hanterar känslig information. Artikeln noterar en stark efterfrågan i Europa på infrastruktur som utvecklas och drivs enligt lokala krav.

Cloneys huvudargument är att företag bör välja AI-infrastruktur utifrån arbetsuppgiftens behov, däribland hastighet, kostnad, kontroll och datalagringens geografiska placering, i stället för att låsa alla projekt till en modell, hårdvarutyp eller driftsättningsväg.