Hàn Quốc và Nhật Bản phát triển kiến trúc bộ nhớ AI mới vượt giới hạn HBM

Các nhóm nghiên cứu đến từ Hàn Quốc và Nhật Bản đã độc lập đề xuất hai kiến trúc tích hợp bộ nhớ mới, với mục tiêu tăng dung lượng và băng thông mà không cần tiếp tục nâng chiều cao của các chồng bộ nhớ băng thông cao (HBM). Cả hai giải pháp cũng hướng đến việc giảm bớt những thách thức về tản nhiệt ngày càng nghiêm trọng trên các bộ tăng tốc AI.

Các nghiên cứu được trình bày tại Hội nghị IEEE/JSAP VLSI Technology and Circuits Symposium 2026 diễn ra vào tháng 6, cùng chia sẻ một ý tưởng cốt lõi: đặt các die DRAM theo phương thẳng đứng trên cạnh thay vì xếp chồng theo phương ngang như kiến trúc HBM truyền thống.

Nhóm nghiên cứu từ Viện Khoa học và Công nghệ Quốc gia Ulsan (UNIST) đã giới thiệu thiết kế mang tên Vertical Die (V-Die). Kiến trúc này sắp xếp các die DRAM được tùy chỉnh theo phương thẳng đứng, loại bỏ hoàn toàn các kết nối xuyên silicon (TSV), thay vào đó sử dụng kết nối I/O ở cạnh dưới của từng die. Đồng thời, các kênh làm mát bằng chất lỏng được bố trí xen giữa các chip liền kề để cải thiện khả năng tản nhiệt.

Theo nhóm nghiên cứu, thiết kế V-Die cung cấp số lượng kết nối nhiều gấp 4 lần HBM4 và giảm 37% độ trễ truy cập bộ nhớ. Trong mô phỏng sử dụng cấu hình 16 lớp bộ nhớ, phần cứng tương đương NVIDIA H100 và khối lượng công việc ở quy mô GPT-3, V-Die đạt thông lượng 540 token/giây, cao hơn đáng kể so với 296 token/giây của HBM4. Thời gian tạo token đầu tiên (Time to First Token – TTFT) cũng giảm 32%, xuống còn khoảng 24 mili giây.

Trong khi đó, nhóm nghiên cứu tại Đại học Tokyo tập trung vào khả năng sản xuất hàng loạt với thiết kế mang tên MOSAIC. Do chỉ cần sai lệch rất nhỏ về độ dày của die cũng có thể gây lỗi căn chỉnh khi đặt chip theo phương thẳng đứng, nhóm đã thay thế các kết nối vật lý truyền thống bằng công nghệ ghép nối cảm ứng không tiếp xúc (contactless inductive coupling). Các cuộn dây siêu nhỏ cho phép truyền dữ liệu qua những khe hở cực nhỏ, loại bỏ yêu cầu các chân tín hiệu phải tiếp xúc và căn chỉnh chính xác.

Nguyên mẫu giao tiếp của MOSAIC hỗ trợ tốc độ truyền dữ liệu lên tới 4 Gbps trên mỗi kênh. Trong cấu hình DRAM kết hợp với GPU, kiến trúc này có thể tăng gấp đôi dung lượng bộ nhớ so với HBM4. Các thử nghiệm phần cứng cũng cho thấy khả năng dẫn nhiệt cao gấp 3 lần bộ nhớ xếp chồng truyền thống, đồng thời tăng dung lượng bộ nhớ thêm tới 30%.

Cả hai dự án đều hướng tới giải quyết bài toán "memory wall" ngày càng nghiêm trọng trong lĩnh vực AI. Mặc dù các bộ tăng tốc AI hiện nay sở hữu năng lực tính toán rất lớn, các mô hình ngôn ngữ lớn (LLM) vẫn phải liên tục di chuyển khối lượng dữ liệu khổng lồ giữa bộ xử lý và bộ nhớ, khiến HBM trở thành thành phần then chốt trong hạ tầng AI. Tuy nhiên, khi các chồng HBM ngày càng cao, việc tản nhiệt trở nên khó khăn hơn, trong khi các kết nối TSV chiếm nhiều diện tích trên die, đồng thời làm tăng độ phức tạp trong thiết kế tín hiệu và đóng gói tiên tiến.

Song song với các nghiên cứu học thuật, các nhà sản xuất bộ nhớ như SK hynix, Samsung Electronics và Micron cũng đang phát triển các công nghệ cải thiện hiệu suất tản nhiệt cho các thế hệ HBM tiếp theo như HBM4, iHBM và HBM5. Tuy nhiên, các sản phẩm này vẫn tiếp tục dựa trên kiến trúc xếp chồng truyền thống.

Các nhà nghiên cứu nhấn mạnh rằng cả V-Die và MOSAIC đều chưa sẵn sàng thay thế HBM thương mại. V-Die hiện vẫn ở giai đoạn đề xuất và đang được phát triển nguyên mẫu để kiểm chứng hiệu năng điện cũng như khả năng tản nhiệt. Trong khi đó, MOSAIC đã chứng minh được tính khả thi thông qua nguyên mẫu phần cứng, nhưng vẫn cần chứng minh khả năng đạt hiệu suất sản xuất, chi phí hợp lý và độ tin cậy dài hạn để có thể thương mại hóa trong các sản phẩm DRAM.