Elon Musk sagt, dass Colossus2 gleichzeitig 7 Modelle trainiert, mit bis zu 100 Billionen Parametern

Laut dem Monitoring von 1M AI News hat SpaceX- und xAI-Gründer Elon Musk auf X einen Beitrag gepostet, in dem er sagt, dass der Supercomputing-Cluster Colossus 2 von SpaceXAI derzeit gleichzeitig 7 Modelle trainiert:

1. Imagine V2, die nächste Generation von Bild- und Video-Generierungsmodellen
2. 2 Varianten eines 1-Billionen-Parameter-Modells
3. 2 Varianten eines 1,5-Billionen-Parameter-Modells
4. Ein 6-Billionen-Parameter-Modell
5. Ein 10-Billionen-Parameter-Modell

Er fügte hinzu: „Es gibt noch einiges aufzuholen“ (Some catching up to do). Zuvor hatten mehrere Medien berichtet, dass xAI das nächste Flaggschiff-Modell Grok 5 mit einer Parameterzahl von ungefähr 6 Billionen plant; die 6T in der Liste passt dazu. Für das 10-Billionen-Parameter-Modell gab es bisher keine öffentlichen Berichte.

In seinem Beitrag bezeichnet Musk die nach der Zusammenführung von SpaceX und xAI entstandene Einheit mit „SpaceXAI“. Die beiden Unternehmen haben dieses Jahr im Februar fusioniert; die gemeinsame Bewertung liegt bei ungefähr 1,25 Billionen US-Dollar. Colossus 2 ging am 17. Januar online. Es ist der erste KI-Trainings-Cluster im Gigawatt-Bereich der Welt; geplant ist, dass er diesen Monat auf 1,5GW aufgerüstet wird.