AMD ra mắt card tăng tốc AI MI350P PCIe với 144GB HBM3E

AMD vừa giới thiệu thành viên mới của dòng MI350 dưới dạng PCIe, nhanh hơn khoảng 40% về hiệu năng FP16 và FP8 so với đối thủ Nvidia H200 NVL. Mẫu AMD Instinct MI350P mới sở hữu 128 Compute Units (CU) cùng 144GB bộ nhớ HBM3E và được thiết kế như một giải pháp nâng cấp “drop-in” cho các máy chủ làm mát bằng không khí hiện có.

MI350P có thiết kế dual-slot dài 10,5 inch với hệ thống tản nhiệt fanless, hoạt động trong mức công suất 600W. Card được làm mát nhờ quạt của chassis trong các máy chủ rack-mounted. Ngoài ra, sản phẩm cũng có thể cấu hình xuống mức 450W để tương thích với các hệ thống bị giới hạn về điện năng hoặc nhiệt độ.

Thông số của MI350P tương đương khoảng một nửa so với các GPU AI cao cấp hơn là MI350X và MI355X của AMD. Card sử dụng kiến trúc CDNA4 và được sản xuất trên tiến trình FinFET 3nm và 6nm của TSMC.

GPU này sở hữu:
• 8.192 nhân xử lý
• 128 CU
• 512 Matrix Cores
• xung nhịp tối đa 2,2GHz
• 144GB HBM3E
• băng thông bộ nhớ 4TB/s
• 128MB last-level cache

Tương tự MI350X và MI355X, MI350P hỗ trợ native MXFP6 và MXFP4 nhằm tăng tốc cho các mô hình ngôn ngữ lớn (LLM).

AMD cho phép tối đa 8 card MI350P hoạt động trong cùng một hệ thống, giúp data center mở rộng hiệu năng linh hoạt theo nhu cầu sử dụng. Sản phẩm hướng tới các workload AI từ nhỏ tới lớn, đặc biệt cho inference và RAG pipelines.

AMD cho biết MI350P hiện là card PCIe enterprise nhanh nhất thị trường với:
• 2.299 TFLOPs hiệu năng ước tính
• tối đa 4.600 TFLOPs khi dùng MXFP4

Sự xuất hiện của MI350P cũng giúp AMD lần đầu có đối thủ cạnh tranh trực tiếp với NVIDIA H200 NVL — card AI PCIe mạnh nhất của Nvidia hiện nay.

Nhờ kiến trúc mới hơn, MI350P vượt H200 NVL về hiệu năng lý thuyết:
• Mạnh hơn 20% ở FP64
• Mạnh hơn 43% ở FP16
• Mạnh hơn 39% ở FP8

Hiện Nvidia vẫn chưa công bố phiên bản PCIe của dòng B200 Blackwell dùng HBM, vì vậy AMD đang tạm thời sở hữu bộ tăng tốc AI tiên tiến nhất có thể lắp vào khe PCIe truyền thống.

Tuy nhiên, mức độ phổ biến của MI350P vẫn còn là dấu hỏi khi Nvidia vẫn đang thống trị thị trường nhờ hệ sinh thái CUDA. Dù vậy, AMD cho biết hãng đang tiếp tục cải thiện nền tảng phần mềm ROCm để cạnh tranh mạnh hơn trong lĩnh vực AI.