xAI supuestamente tiene alrededor de 550,000 $NVDA H100 y H200 GPUs, pero solo está usando aproximadamente el 11% de esa flota, lo que equivale a aproximadamente 60,000 GPUs efectivamente utilizadas

Según The Information, el problema clave no es la disponibilidad de hardware, sino la eficiencia del stack de software. A gran escala, el tiempo ocioso aumenta rápidamente porque el entrenamiento distribuido, las tuberías de datos, la programación y los sistemas de análisis se vuelven más difíciles de coordinar
$META y $GOOG supuestamente logran una utilización mucho mejor, alrededor del 43% y 46%, porque sus stacks de software internos son más maduros
El objetivo de xAI es alcanzar un 50% de utilización, pero no se da un plazo. El camino principal a seguir sería una mejor orquestación de infraestructura, software de entrenamiento, optimización de tuberías de datos y gestión de cargas de trabajo