El éxito de la IA depende de los resultados empresariales, no de las métricas de uso

Las empresas deberían evaluar la inteligencia artificial según si mejora los resultados empresariales, no por la cantidad de tokens que usan los empleados ni por cuántas personas tienen acceso a una herramienta, sostiene Matt Finlayson en un artículo para TechRadar Pro Perspectives.

Finlayson describe las clasificaciones internas que ordenaban a los empleados por su uso de tokens, una tendencia llamada «tokenmaxxing», y el posterior intento de minimizar ese uso. Afirma que ambos enfoques pueden desviar la atención del objetivo: ofrecer más productos, de mayor calidad, con el mismo número de personas o menos. También advierte de que métricas como la utilización de GPU y el número de funciones de IA lanzadas cada trimestre pueden premiar la actividad sin mostrar si el trabajo resulta útil.

Como ejemplo, Finlayson señala que una adopción del 95 % de GitHub Copilot puede indicar que se distribuyeron licencias, no que los desarrolladores estén usando eficazmente la herramienta. Si el tiempo de ciclo no ha bajado un 30 % o no se ha reducido el retrabajo, la adopción por sí sola no demuestra una mejora de los resultados. Generar código más rápido también puede convertir la revisión en un cuello de botella o aumentar los errores si se aprueban fallos generados por IA sin suficiente revisión.

Finlayson recomienda empezar por un resultado empresarial concreto y medirlo antes y después de incorporar la IA a un flujo de trabajo. Los equipos de ingeniería pueden usar DORA o SPACE como marcos de medición; otros equipos pueden seguir objetivos como el tiempo de respuesta o la precisión de las previsiones. En un ejemplo, un equipo de soporte redujo el tiempo de primera respuesta de nueve horas a tres horas después de que sus agentes empezaran a redactar respuestas con un asistente de IA; la tasa de reapertura no cambió.

Finlayson afirma que los responsables deben definir qué resultado quieren mejorar antes de elegir una métrica de IA. Las opiniones del artículo son del autor y no representan necesariamente las de TechRadar Pro o Future plc.