Elon Musk cho biết Colossus2 đang huấn luyện đồng thời 7 mô hình, tối đa đạt 10 nghìn tỷ tham số

Theo dõi của 1M AI News, người sáng lập SpaceX và xAI là Elon Musk đã đăng một bài viết trên X, cho biết siêu cụm điện toán (supercomputing) Colossus 2 của SpaceXAI hiện đang đồng thời huấn luyện 100kô hình:

1. Imagine V2, phiên bản thế hệ tiếp theo của mô hình tạo hình ảnh và video
2. 2 biến thể của mô hình tham số 1 nghìn tỷ
3. 2 biến thể của mô hình tham số 1,5 nghìn tỷ
4. Mô hình tham số 6 nghìn tỷ
5. Mô hình tham số 10 nghìn tỷ

Ông ấy kèm bình luận: “Còn một số việc cần phải bắt kịp” (Some catching up to do). Trước đó, nhiều phương tiện truyền thông đưa tin rằng quy mô tham số của mô hình cờ lăng (flagship) thế hệ tiếp theo của xAI, Grok 5, khoảng 6 nghìn tỷ; mục liệt kê số 6T trong danh sách trên khớp với thông tin này. Trước đó chưa thấy báo cáo công khai nào về mô hình tham số 10 nghìn tỷ.

Trong bài đăng, Musk dùng “SpaceXAI” để chỉ thực thể sau khi SpaceX và xAI sáp nhập. Hai công ty hoàn tất sáp nhập vào tháng 2 năm nay; sau sáp nhập, định giá khoảng 1,25 nghìn tỷ USD. Colossus 2 đi vào hoạt động vào ngày 17 tháng 1, là cụm huấn luyện AI cấp gigawatt đầu tiên trên thế giới, và dự kiến nâng cấp lên 1,5GW trong tháng này.