La IA empresarial necesita modelos, hardware y despliegues adaptados a cada carga de trabajo

En un artículo de opinión publicado en TechRadar, Emma Cloney, directiva de Core42, sostiene que las empresas que pasan de los proyectos piloto a la producción de IA afrontan costes que pueden aumentar cuando las aplicaciones se usan con más frecuencia o los agentes recurren a varios modelos para completar una tarea.

Cloney afirma que las empresas deberían elegir modelos y aceleradores según cada carga de trabajo, en lugar de optar por defecto por las alternativas más potentes. Los modelos pequeños pueden encargarse de tareas rutinarias de clasificación, extracción y enrutamiento; los medianos pueden respaldar el razonamiento cotidiano; y los grandes pueden ser adecuados para razonamientos complejos, planificación estratégica y tareas en las que la precisión y los matices son importantes.

La elección del hardware también depende de la tarea. Las aplicaciones de baja latencia necesitan sistemas que respondan con rapidez, mientras que las cargas de trabajo de gran volumen pueden beneficiarse más del rendimiento y la eficiencia de costes. Cloney sostiene que usar el mismo tipo de hardware para todas las tareas puede hacer que se pague por un rendimiento que algunas aplicaciones no aprovechan. Según ella, combinar aceleradores puede dar más flexibilidad a las empresas; entre los posibles proveedores menciona NVIDIA, AMD, Qualcomm, Microsoft y Cerebras.

Como ejemplo, el artículo afirma que Cerebras ha ejecutado gpt-oss-120b de OpenAI a unos 3.000 tokens por segundo, una velocidad que, según Cloney, resulta valiosa cuando el tiempo de respuesta es crucial. También destaca la ubicación del despliegue y el control local, en particular para gobiernos y empresas que manejan información sensible. El artículo señala que en Europa hay una fuerte demanda de infraestructura desarrollada y operada conforme a los requisitos locales.

El argumento central de Cloney es que las empresas deberían elegir la infraestructura de IA según las necesidades de cada carga de trabajo, como la velocidad, el coste, el control y la residencia de los datos, en lugar de comprometer todos los proyectos con un único modelo, tipo de hardware o método de despliegue.