AI-framgång beror på affärsresultat, inte användningsmått

Företag bör bedöma artificiell intelligens utifrån om den förbättrar affärsresultaten, inte hur många token medarbetarna använder eller hur många som har tillgång till ett verktyg, skriver Matt Finlayson i en artikel för TechRadar Pro Perspectives.

Finlayson beskriver interna topplistor där medarbetare rangordnades efter tokenanvändning, en trend som kallades ”tokenmaxxing”, och en senare strävan att minimera tokenanvändningen. Han menar att båda tillvägagångssätten kan skymma målet: att leverera fler produkter med högre kvalitet och med samma eller färre medarbetare. Han varnar också för att mått som GPU-utnyttjande och antal AI-funktioner som lanseras varje kvartal kan belöna aktivitet utan att visa om arbetet gör nytta.

Som exempel säger Finlayson att 95 % användning av GitHub Copilot kan visa att licenser har delats ut, inte att utvecklarna använder verktyget effektivt. Om cykeltiden inte har minskat med 30 % eller om behovet av omarbete inte har sjunkit visar användningsgraden i sig inte att resultaten har förbättrats. Snabbare kodgenerering kan också göra granskningen till en flaskhals eller öka antalet buggar om AI-genererade fel godkänns utan tillräcklig granskning.

Finlayson rekommenderar att börja med ett konkret affärsresultat och mäta det före och efter att AI införs i ett arbetsflöde. Teknikteam kan använda DORA eller SPACE som mätramverk, medan andra team kan följa mål som svarstid eller prognosprecision. I ett exempel minskade ett supportteam den första svarstiden från nio timmar till tre timmar efter att medarbetarna började utforma svar med en AI-assistent; andelen återöppnade ärenden förändrades inte.

Finlayson skriver att ledare bör definiera vilket resultat de vill förbättra innan de väljer ett AI-mått. Artikelns åsikter är författarens och representerar inte nödvändigtvis TechRadar Pro eller Future plc.