reviews các nền tảng GPU Server NVIDIA HGX A100 của SuperMicro
maychuhnoi > 10-30-2021, 04:48 AM
Ngay sau event công bố mẫu sever DGX A100 của NVIDIA, Supermicro cũng từng chào làng loạt sever GPU cho Data Center của bản thân mình với hiệu năng đứng đầu tiên ngành. Đấy là các hệ thống đào tạo AI mạnh nhất với các nền tảng gốc rễ GPU NVIDIA A100 mới ra mắt. Các khối hệ thống mới này tận dụng công nghệ NVIDIA HGX™ thế hệ trang bị 3, tương tự như bổ trợ vừa đủ cho GPU NVIDIA A100™ Tensor Core mới bên trên những máy chủ GPU của Supermicro có những hệ thống 1U, 2U & 4U giành riêng cho Data Center.
nền tảng HGX A100 tập hợp toàn bộ sức khỏe của GPU NVIDIA, mạng NVIDIA NVLink, mạng NVIDIA Mellanox InfiniBand và ngăn xếp phần mềm NVIDIA AI, HPC đc nổi trội hóa trọn vẹn từ NGC để đem về hiệu suất ứng dụng tối đa. Có hiệu suất đầu cuối & tính linh hoạt, NVIDIA HGX A100 được cho phép những nhà nghiên cứu và nhà nghiên cứu khoa học phối kết hợp mô phỏng, nghiên cứu dữ liệu và AI để đẩy mạnh tiến bộ khoa học.
cách khắc phục hạ tầng
NVIDIA HGX A100 phối kết hợp GPU NVIDIA A100 Tensor Core mang kết nối vận tốc cao để phân thành máy chủ vượt trội nhất trái đất. Có GPU A100 80GB, một HGX A100 duy nhất với bộ lưu trữ GPU lên tới mức 1,3 terabyte (TB) và băng thông bộ nhớ lưu trữ hơn 2 terabyte mỗi giây (TB / s), mang lại khả năng tăng cường chưa từng sở hữu. HGX A100 dẫn tới tốc độ AI lên đến mức 20 lần so với những thế hệ trước sở hữu Tensor Float 32 (TF32) và tăng cường 2,5 lần HPC mang FP64. Được thử nghiệm không hề thiếu & thuận lợi triển khai, HGX A100 phối hợp vào những sever của đối tác để cung ứng hiệu suất đc đảm bảo an toàn. NVIDIA HGX A100 sở hữu 16 GPU đưa về 10 petaFLOPS đáng kinh ngạc, chia thành căn cơ máy chủ lan rộng quy mô đc tăng tốc vượt trội nhất quả đât giành cho AI và HPC.
>>> Xem thêm: mua hpe ml30 gen10
NVIDIA HGX A100 với GPU A100 Tensor Core dẫn tới bước nhảy vọt tiếp theo trong nền tảng trung tâm dữ liệu bức tốc, hỗ trợ khả năng bức tốc chưa từng với ở hầu hết mô hình & có thể chấp nhận được những nhà đổi mới tiến hành công việc trong đời của bọn họ. Và NVIDIA HGX A100 sở hữu 2 Platform chính là HGX A100 4-GPU & HGX A100 8-GPU để hoạt bát trong tùy tìm & hợp với đa dạng nhu yếu lạm dụng quá những những hệ thống về AI và HPC hiện giờ
HGX A100 4-GPU đc kết nối có NVLink để bức tốc cho mục đích chung
Dường như HGX A100 8-GPU với NVSwitch cung ứng hiệu suất sớm nhất có thể, sở hữu các tình huống ứng dụng trong số đó nút sever HGX A100 4-GPU là tốt nhất. Ví dụ: chúng ta có thể chạm chán những tình huống sau:
các trọng lượng quá trình mục tiêu, ví dụ như những phần mềm khoa học nhất định, thích rộng rãi dung lượng CPU hơn để hợp với GPU A100 thời gian nhanh. Bốn GPU A100 cho hai CPU là 1 trong những tỷ lệ cân bằng hơn.
một số cơ sở hung tàn liệu với nguồn điện tủ rack hạn chế do suy giảm về trung tâm hạ tầng. Căn cơ con số GPU phải chăng hơn sở hữu công năng sever tốt hơn được ưu tiên.
một số quản trị viên website muốn phân phối tài nguyên cho người tiêu dùng theo mức độ chi tiết của nút (với tối thiểu 1 nút) để đơn giản hóa. Một nút HGX A100 4-GPU chất nhận được độ cụ thể tốt hơn và giúp bổ trợ đa số chúng ta dùng hơn.
Bốn GPU A100 bên trên bo mạch chủ GPU đc kết nối trực tiếp mang NVLink, cho phép kết nối rất đầy đủ. Hầu hết GPU A100 đều mà thậm chí truy vấn bất cứ bộ nhớ nào của GPU A100 khác bằng cổng NVLink tốc độ cao. Băng thông ngang hàng A100 đến A100 là 200 GB / s hai chiều, một cách nhanh hơn 3 lần so với bus PCIe Gen4 x16 sớm nhất có thể.
>>> Xem thêm: ban máy chủ hpml 30 gen10
chính sách xem vật lý cơ 4-GPU HGX A100.
phối hợp căn nguyên sever HGX A100 4-GPU với nhau
Để mang về khả năng tăng cường hiệu quả tốt nhất, chúng tôi khuyên chúng ta nên Để ý đến thiết kế hệ thống sau:
sử dụng một CPU có con số lõi cao, đơn giả dụ cân nặng công việc không nhu cầu thêm dung lượng CPU. Điều này khiến cho hạn chế BOM hệ thống & công suất và dễ chơi hóa việc lập lịch trình.
Giải phóng công tắc PCIe, Kết nối trực tiếp từ CPU đến GPU A100 để tiết kiệm BOM khối hệ thống và năng lượng.
trang bị cho nút một hoặc hai NIC & NVMe 200-Gb / s để cung ứng phổ biến tình huống lạm dụng quá khác nhau. Mellanox ConnectX-6 200Gb / s NIC là chọn lựa nổi trội.
lạm dụng bộ nhớ lưu trữ GPUDirect Storage , giúp tránh độ trễ đọc / ghi, giảm tiền bạc CPU và cho phép hiệu suất cao hơn.
HGX A100 8-GPU được kết nối sở hữu NVSwitch để có số giờ xử lý nhanh nhất
Bảng tinh chỉnh 8-GPU HGX A100 đại diện thay mặt cho khối thiết kế chính của nền tảng máy chủ HGX A100. Hình ảnh cho thấy bo mạch chủ chứa tám GPU A100 Tensor Core và sáu nút NVSwitch. Mỗi GPU A100 sở hữu 12 cổng NVLink và mỗi nút NVSwitch là 1 công tắc NVLink trọn vẹn không chặn kết nối đối với cả tám GPU A100.
cấu trúc liên kết lưới đc kết nối khá đầy đủ này cho phép tất cả GPU A100 thủ thỉ sở hữu bất cứ GPU A100 nào khác ở tốc độ hai chiều NVLink rất đầy đủ là 600 GB / s, gấp rút 10 lần băng thông của bus PCIe Gen4 x16 nhanh nhất có thể. Hai tấm nền cũng có thể được kết nối ngược nhau bằng cách dùng NVSwitch lớn NVLink, chất nhận được kết nối trọn vẹn 16 GPU A100.
>>> Xem thêm: máy lenovo sr950