Ngành bán dẫn hướng tới tách HBM khỏi GPU, liên kết quang có thể mở rộng giới hạn bộ nhớ AI

Khi các mô hình AI ngày càng mở rộng về quy mô, nhu cầu về dung lượng bộ nhớ và băng thông đang đẩy kiến trúc GPU-HBM truyền thống đến gần giới hạn vật lý. Theo nhiều nguồn tin trong ngành, các nhà sản xuất bộ nhớ và công nghệ đóng gói bán dẫn đang thảo luận về một hướng tiếp cận hoàn toàn mới: tách HBM ra khỏi GPU và kết nối hai thành phần này thông qua liên kết quang tốc độ siêu cao.

Nếu thành công, kiến trúc này có thể mở rộng dung lượng HBM cho GPU lên nhiều lần so với các thiết kế hiện tại, mở ra nền tảng phần cứng mới cho thế hệ AI accelerator tiếp theo.

Kiến trúc GPU-HBM truyền thống đang chạm ngưỡng giới hạn

Trong nhiều năm qua, ngành bán dẫn chủ yếu tăng dung lượng HBM bằng cách xếp chồng thêm nhiều lớp DRAM theo chiều dọc.

Từ các thiết kế 8 lớp, 12 lớp cho tới 16 lớp, việc gia tăng số tầng bộ nhớ đã giúp nâng cao đáng kể mật độ lưu trữ mà vẫn duy trì băng thông cực lớn. Tuy nhiên, khi công nghệ HBM đang tiến dần tới các cấu trúc 20 lớp trở lên, độ phức tạp trong sản xuất tăng mạnh, kéo theo áp lực lớn về năng suất, nhiệt độ vận hành và độ ổn định tín hiệu. Quan trọng hơn, nếu số lớp HBM không thể tiếp tục mở rộng, ngành sẽ buộc phải tìm cách tăng dung lượng theo chiều ngang bằng cách bổ sung thêm nhiều cụm HBM xung quanh GPU.

Nhưng đây cũng là hướng đi đang dần chạm trần. Trong các kiến trúc đóng gói 2.5D hiện nay, GPU và HBM được đặt sát nhau trên cùng một đế bán dẫn. Điều này khiến số lượng cụm HBM bị giới hạn bởi diện tích chu vi xung quanh GPU, thường được gọi là “shoreline”. Khi diện tích vật lý không còn đủ để mở rộng thêm, kiến trúc hiện tại bắt đầu bộc lộ giới hạn rõ rệt.

Tách HBM khỏi GPU: một hướng đi đang được chú ý

Trước áp lực đó, một số công ty trong ngành đang nghiên cứu phương án đặt GPU và HBM trong các package tách biệt thay vì gắn liền trên cùng đế như hiện nay.

Ý tưởng này đi ngược với triết lý thiết kế lâu nay, vốn luôn đặt GPU và HBM càng gần nhau càng tốt để giảm độ trễ truyền dữ liệu. Thay vào đó, thiết kế mới chấp nhận khoảng cách vật lý lớn hơn nhưng bù lại bằng công nghệ truyền tín hiệu quang siêu tốc.Nếu triển khai được, kiến trúc này sẽ cho phép bố trí nhiều cụm HBM hơn rất nhiều, vượt qua giới hạn vật lý hiện tại của package 2.5D.

Điều này có thể tạo ra bước nhảy vọt về dung lượng bộ nhớ cho các GPU AI tương lai, vốn đang chịu áp lực rất lớn từ các mô hình AI ngày càng phình to về tham số.

Liên kết quang có thể là chìa khóa

Các kết nối quang giữa GPU và HBM hoạt động dựa trên nguyên lý tương tự như truyền dữ liệu quang giữa các máy chủ trong trung tâm dữ liệu.

Tuy nhiên, thách thức lớn nhất nằm ở việc thu nhỏ công nghệ photonics từ quy mô rack và hệ thống xuống cấp độ vi mô ngay trên bo mạch hoặc trong package bán dẫn. Điều này đòi hỏi các linh kiện quang học phải được tích hợp với mật độ cực cao trong không gian rất hạn chế.

Không chỉ vậy, các nhà sản xuất còn phải giải quyết đồng thời nhiều bài toán kỹ thuật phức tạp như: độ trễ tín hiệu ở khoảng cách cực ngắn, quản lý nhiệt cho photonic components, độ ổn định truyền dẫn trong môi trường mật độ cao, khả năng đồng bộ hóa với logic xử lý tốc độ cực lớn. Đây là cấp độ tích hợp khó hơn rất nhiều so với optical networking trong datacenter hiện nay.

Kiến trúc bo mạch GPU có thể thay đổi hoàn toàn

Một số phương án đang được ngành thảo luận bao gồm mở rộng không gian xung quanh GPU để bố trí thêm HBM hoặc đặt HBM ở các khu vực tách biệt phía dưới bo mạch xử lý.

Phương án thứ hai có thể buộc các hãng GPU phải thiết kế lại chiều cao bo mạch chủ và thay đổi toàn bộ form factor của hệ thống tăng tốc AI.

Điều này đồng nghĩa không chỉ GPU hay DRAM thay đổi, mà toàn bộ hệ sinh thái từ đóng gói, interconnect, thiết kế server cho tới giải pháp tản nhiệt đều có thể phải tái kiến trúc.

Cuộc đua AI đang buộc ngành bán dẫn phá bỏ giới hạn cũ

Việc ngành công nghiệp bắt đầu cân nhắc tách HBM khỏi GPU cho thấy một thực tế rõ ràng: kiến trúc AI accelerator hiện tại đang tiến sát giới hạn vật lý.

Khi các mô hình AI tiếp tục mở rộng theo cấp số nhân, việc phá bỏ những nguyên tắc thiết kế truyền thống có thể là điều bắt buộc.

Nếu optical interconnect cho GPU-HBM trở thành hiện thực, đây có thể là bước ngoặt lớn tiếp theo của ngành bán dẫn, tương tự cách chiplet từng thay đổi hoàn toàn tư duy thiết kế bộ xử lý trong thập kỷ qua.