Un desarrollador ejecuta un LLM de 120B en un teléfono y cinco ordenadores

Wccftech informa de que una persona ejecutó un modelo de lenguaje grande de 120B con un teléfono Android, tres Mac y dos PC con Windows. La fuente identifica el modelo como gpt-oss-120b.

La configuración combinó varios dispositivos de gama baja en lugar de depender de un único equipo con mucha memoria. Según Wccftech, un modelo de 120B necesita al menos entre 60 GB y 80 GB de memoria de vídeo (VRAM) y memoria del sistema en conjunto para ofrecer un rendimiento aceptable, lo que suele requerir hardware caro.

El experimento tuvo una contrapartida importante: Wccftech describe la velocidad de la configuración distribuida como extremadamente lenta y afirma que resulta poco práctica. El artículo no ofrece cifras de rendimiento medidas ni más detalles técnicos sobre cómo se repartió la carga de trabajo entre los dispositivos.