Intel Aurora genAI: Mô hình AI 1 nghìn tỷ tham số, chạy trên siêu máy tính mạnh nhất thế giới

[toringuyen0509]

Tại sự kiện ISC23, chuyên ngành máy tính hiệu năng cao, machine learning và điện toán lượng tử đang diễn ra tại Hamburg, Đức, Intel đã công bố mô hình AI chạy trên hệ thống siêu máy tính Aurora. Mang tên Aurora genAI, mô hình tạo nội dung này sẽ phục vụ cho những nhu cầu nghiên cứu khoa học, tạo ra văn bản, dữ liệu khoa học và những dòng code phục vụ cho quá trình nghiên cứu tìm cách chữa ung thư, giải quyết biến đổi khí hậu, nghiên cứu vũ trụ, phân tích chuỗi protein, nghiên cứu vật liệu mới,…

Sức mạnh của Aurora genAI nằm ở tham số tạo nội dung của thuật toán machine learning. Nếu như ChatGPT phiên bản anh em đang dùng hàng ngày sở hữu 175 tỷ tham số, thì genAI, dựa trên nền tảng của Megatron và DeepSpeed, sở hữu 1 nghìn tỷ tham số.

Năm 2019, bộ Năng lượng Mỹ đã giao cho Intel cùng Cray Computing một hợp đồng sản xuất hệ thống siêu máy tính mới mang tên Aurora trị giá 500 triệu USD. Ban đầu dự kiến Aurora sẽ được hoàn thiện và lắp đặt vào năm 2020 tại phòng nghiên cứu Argonne, dưới sự điều hành của đại học Chicago. Tuy nhiên vì COVID-19, dự án Aurora bị hoãn tới tận năm nay dự kiến mới hoàn thành lắp đặt để đi vào vận hành.

Sau khi hoàn thiện, Aurora sẽ là hệ thống siêu máy tính thứ hai đạt ngưỡng sức mạnh xử lý exascale của Mỹ, sau Frontier, đặt ở phòng thí nghiệm quốc gia Oak Ridge, cũng thuộc quyền quản lý của Bộ năng lượng Mỹ.

Chính bản thân Aurora và Frontier cũng sẽ mô tả sức mạnh của hai thương hiệu đồng hương, Intel và AMD. Frontier sử dụng 9.472 CPU AMD Epyc 7453 64 nhân, chạy ở xung nhịp 2 GHz, tên mã Milan, kiến trúc Zen 3. Mỗi node của siêu máy tính trang bị 1 CPU, 4 GPU, mỗi GPU xử lý có 128GB RAM hàn trên PCB.

Còn trong khi đó, trên thiết kế của Intel, Aurora, sẽ sở hữu 10.624 node, mỗi node là 2 chip Xeon CPU Max kiến trúc Sapphire Rapids mới ra mắt hồi tháng 1, 6 chip Xeon GPU Max kiến trúc Ponte Vecchio, sử dụng RAM dạng unified memory. Tổng cộng, hệ thống sắp vận hành sở hữu 21.248 chip CPU, 63.744 chip GPU, băng thông bộ nhớ 2,12 petabyte/s.

Với mỗi node tạo ra sức mạnh xử lý 130 teraFLOPs, tổng cộng đạt ngưỡng sức mạnh kỳ vọng 2 exaFLOPs. Con số này đủ sức chiếm ngôi đầu bảng xếp hạng TOP500 của Frontier.

Thực tế Frontier, do Hewlett Packard lắp ráp, cũng mới chỉ hoàn thành vào tháng 5/2022, nhưng đến giờ, với sức mạnh 1,102 exaFLOPs, Frontier vẫn đang là hệ thống siêu máy tính mạnh nhất hành tinh, theo xếp hạng TOP500, cùng lúc xếp luôn vị trí thứ nhất trong bảng xếp hạng Green500, tổng hợp những siêu máy tính sử dụng điện hiệu quả nhất.