HBM là gì? Vì sao chip AI cần bộ nhớ băng thông cao?

Trong vài năm trở lại đây, sự bùng nổ của trí tuệ nhân tạo đã tạo ra một cuộc đua chưa từng có trong ngành bán dẫn. Các mô hình ngôn ngữ lớn (Large Language Model), Generative AI hay AI đa phương thức đều đòi hỏi khả năng xử lý lượng dữ liệu khổng lồ với tốc độ cực cao. Đó chính là lý do mà HBM (High Bandwidth Memory) ra đời.

HBM thay đổi toàn bộ kiến trúc bộ nhớ bằng cách xếp chồng nhiều lớp DRAM theo chiều dọc, kết nối chúng thông qua công nghệ Through-Silicon Via và tích hợp sát GPU bằng Advanced Packaging.

Nhờ thiết kế này, HBM mang lại băng thông vượt trội, độ trễ thấp hơn và hiệu quả năng lượng tốt hơn, trở thành lựa chọn gần như bắt buộc trong các GPU AI, AI Accelerator và hệ thống điện toán hiệu năng cao.

Vậy HBM là gì? Vì sao công nghệ này lại đóng vai trò quan trọng đối với chip AI hiện đại? Hãy cùng tìm hiểu chi tiết.

I. HBM là gì?

1. Khái niệm

HBM (High Bandwidth Memory) là công nghệ bộ nhớ băng thông cao được phát triển nhằm đáp ứng nhu cầu truyền dữ liệu cực lớn giữa bộ nhớ và bộ xử lý. Tiêu chuẩn HBM được phát triển bởi JEDEC, tổ chức xây dựng tiêu chuẩn quốc tế cho ngành bộ nhớ bán dẫn, và hiện được nhiều hãng như SK hynix, Samsung hay Micron thương mại hóa.

2. Vì sao gọi là “High Bandwidth Memory”?

Tên gọi High Bandwidth Memory xuất phát từ mục tiêu quan trọng nhất của công nghệ này: tăng Memory Bandwidth – lượng dữ liệu tối đa mà bộ nhớ có thể truyền tới bộ xử lý trong một giây.

Memory Bandwidth thường được đo bằng GB/s hoặc TB/s. Chỉ số này càng cao, GPU càng nhận được nhiều dữ liệu hơn để xử lý trong cùng một khoảng thời gian.

Có thể hình dung đơn giản như sau:

DRAM truyền thống giống một tuyến đường có hai làn xe. Muốn tăng lưu lượng, người ta phải cho xe chạy nhanh hơn.
HBM giống một đường cao tốc với hàng nghìn làn xe hoạt động đồng thời. Dù tốc độ của từng chiếc xe không tăng nhiều, tổng lượng xe lưu thông vẫn lớn hơn rất nhiều.

Điều đó có nghĩa HBM không nhất thiết phải có xung nhịp cao nhất, nhưng lại đạt băng thông vượt trội nhờ kiến trúc truyền dữ liệu song song.

3. Memory Bandwidth quan trọng như thế nào?

Trong các hệ thống AI, GPU phải liên tục đọc dữ liệu đầu vào, truy xuất trọng số mô hình và ghi kết quả tính toán trở lại bộ nhớ. Nếu Memory Bandwidth không đủ lớn, GPU sẽ thường xuyên rơi vào trạng thái chờ dữ liệu.

Ví dụ, hãy tưởng tượng một nhà máy có hàng nghìn công nhân làm việc cùng lúc. Nếu nguyên vật liệu chỉ được vận chuyển bằng một xe tải nhỏ, phần lớn công nhân sẽ phải chờ thay vì sản xuất. Ngược lại, khi sử dụng nhiều xe tải chạy song song, nguyên vật liệu luôn được cung cấp đầy đủ và nhà máy có thể hoạt động hết công suất.

Trong hệ thống AI, GPU chính là “nhà máy”, còn Memory Bandwidth là khả năng vận chuyển dữ liệu. Vì vậy, tăng băng thông bộ nhớ thường mang lại hiệu quả rõ rệt hơn so với chỉ tăng tốc độ xử lý của GPU.

II. Vì sao AI cần High Bandwidth Memory?

Trong các ứng dụng truyền thống như duyệt web, xử lý văn bản hay xem video, lượng dữ liệu cần trao đổi giữa bộ nhớ và bộ xử lý không quá lớn. Tuy nhiên, AI hiện đại lại hoàn toàn khác. Mỗi lần huấn luyện hoặc suy luận, hệ thống phải truy cập hàng tỷ tham số, thực hiện hàng triệu phép tính song song và liên tục di chuyển dữ liệu giữa bộ nhớ với GPU.

Điều này khiến bộ nhớ trở thành một trong những yếu tố quyết định hiệu năng của toàn hệ thống.

1. Memory Wall – “điểm nghẽn” của chip AI

Trong nhiều năm qua, hiệu năng của CPU và GPU tăng nhanh hơn nhiều so với tốc độ phát triển của bộ nhớ. Các nhà sản xuất có thể bổ sung thêm nhân xử lý, tăng số lượng Tensor Core hay cải thiện kiến trúc GPU, nhưng nếu dữ liệu không được truyền đến đủ nhanh, phần lớn tài nguyên tính toán vẫn bị lãng phí.

Khoảng cách giữa tốc độ xử lý và tốc độ truy xuất dữ liệu được gọi là Memory Wall.

Đây là lý do nhiều GPU không thể đạt hiệu suất tối đa dù sở hữu sức mạnh tính toán rất lớn. Khi dữ liệu chưa kịp đến bộ xử lý, các nhân GPU buộc phải chờ, làm giảm tỷ lệ sử dụng tài nguyên và tăng thời gian hoàn thành tác vụ.

Đối với AI, Memory Wall càng trở nên nghiêm trọng vì khối lượng dữ liệu tăng theo cấp số nhân.

2. AI Training cần băng thông bộ nhớ lớn

Quá trình AI Training là giai đoạn tiêu tốn tài nguyên nhất của một mô hình AI. Trong mỗi vòng lặp huấn luyện, GPU phải đọc dữ liệu đầu vào, truy xuất trọng số, tính toán gradient và cập nhật lại toàn bộ tham số của mô hình.

Đối với các mô hình ngôn ngữ lớn, số lượng tham số có thể lên đến hàng chục hoặc hàng trăm tỷ. Chỉ riêng việc đọc và ghi các tham số này đã tạo ra lưu lượng dữ liệu khổng lồ giữa bộ nhớ và GPU.

Nếu Memory Bandwidth không đủ lớn, GPU sẽ mất nhiều thời gian chờ dữ liệu hơn là thực hiện tính toán. Điều đó không chỉ kéo dài thời gian huấn luyện mà còn làm tăng đáng kể chi phí vận hành của các trung tâm dữ liệu AI.

HBM giúp giải quyết vấn đề này bằng cách cung cấp băng thông rất cao, cho phép GPU truy cập nhiều dữ liệu hơn trong cùng một khoảng thời gian. Nhờ đó, thời gian huấn luyện mô hình được rút ngắn và hiệu suất sử dụng phần cứng được cải thiện.

3. AI Inference và Generative AI cũng phụ thuộc vào HBM

Không chỉ AI Training, AI Inference cũng yêu cầu bộ nhớ có băng thông cao. Khi người dùng gửi một câu hỏi đến chatbot AI, hệ thống phải liên tục đọc trọng số mô hình, tính toán xác suất của từng token và tạo phản hồi theo thời gian thực.

Tương tự, các ứng dụng Generative AI như tạo hình ảnh, video hoặc âm thanh phải xử lý nhiều tensor có kích thước lớn, đồng thời truy xuất dữ liệu liên tục trong suốt quá trình suy luận.

Nếu bộ nhớ phản hồi chậm, GPU sẽ phải chờ dữ liệu và thời gian tạo kết quả sẽ tăng lên. Đó là lý do các GPU AI hiện đại gần như đều sử dụng HBM thay vì GDDR.

Không chỉ các mô hình ngôn ngữ lớn, HBM còn đóng vai trò quan trọng trong AI đa phương thức (Multimodal AI), xe tự hành, thị giác máy tính (Computer Vision) và điện toán hiệu năng cao (HPC). Điểm chung của những ứng dụng này là đều cần xử lý lượng dữ liệu rất lớn với độ trễ thấp, và HBM chính là giải pháp giúp bộ nhớ theo kịp tốc độ phát triển của GPU.

III. HBM hoạt động như thế nào?

Hình 1: Nguyên lý hoạt động của HBM

1. Kiến trúc 3D Stacking

3D Stacking là công nghệ xếp chồng nhiều lớp DRAM lên nhau theo phương thẳng đứng để tạo thành một HBM Stack. Tùy từng thế hệ HBM, một stack có thể gồm 4, 8, 12 hoặc 16 lớp DRAM.

Việc xếp chồng mang lại nhiều lợi ích:

Tăng mật độ bộ nhớ: Nhiều lớp DRAM được tích hợp trong cùng một diện tích, phù hợp với các GPU AI yêu cầu dung lượng lớn.
Rút ngắn đường truyền tín hiệu: Dữ liệu chỉ di chuyển qua khoảng cách rất ngắn giữa các lớp DRAM, thay vì đi qua bo mạch.
Tiết kiệm điện năng: Khoảng cách truyền ngắn giúp giảm năng lượng cần thiết để di chuyển dữ liệu.
Hỗ trợ băng thông cao: Nhiều lớp DRAM hoạt động song song, giúp tăng lượng dữ liệu truyền trong mỗi chu kỳ.

Chính nhờ kiến trúc 3D Stacking mà HBM có thể đạt băng thông lên đến hàng terabyte mỗi giây, đáp ứng yêu cầu của các GPU AI hiện đại.

2. Through-Silicon Via (TSV)

TSV là các lỗ dẫn điện siêu nhỏ được tạo xuyên qua tấm silicon. Sau khi được khắc, các lỗ này sẽ được lấp đầy bằng đồng (Copper Filling) để tạo thành đường dẫn tín hiệu theo phương

Nhờ TSV, các lớp DRAM trong HBM có thể hoạt động như một khối thống nhất. Điều này giúp:

tăng mật độ kết nối;
giảm độ trễ truyền dữ liệu;
cải thiện hiệu quả năng lượng;
hỗ trợ truyền dữ liệu song song với băng thông rất lớn.

TSV cũng là một trong những công nghệ quan trọng nhất của ngành bán dẫn hiện đại, không chỉ được sử dụng trong HBM mà còn trong nhiều giải pháp đóng gói 3D khác.

IV. HBM nhanh hơn DRAM truyền thống ở điểm nào?

Điểm mạnh của HBM nằm ở kiến trúc truyền dữ liệu. Thay vì tăng tốc độ của từng đường truyền, HBM sử dụng giao diện bộ nhớ rất rộng (Wide I/O), cho phép hàng nghìn đường tín hiệu hoạt động đồng thời. Nhờ đó, lượng dữ liệu truyền trong mỗi chu kỳ tăng lên đáng kể.

Ngoài băng thông cao, HBM còn tiêu thụ ít điện năng hơn trên mỗi bit dữ liệu truyền đi. Đây là yếu tố rất quan trọng đối với các trung tâm dữ liệu AI, nơi hàng nghìn GPU hoạt động liên tục 24/7.

So sánh DDR, GDDR và HBM

Tiêu chí	DDR	GDDR	HBM
Ứng dụng	Máy tính, máy chủ	Card đồ họa	GPU AI, AI Accelerator, HPC
Kiến trúc	2D	2D	3D Stacking
Vị trí lắp đặt	Mô-đun DIMM	Quanh GPU	Cùng package với GPU
Công nghệ kết nối	PCB	PCB	TSV + Interposer
Băng thông	Trung bình	Cao	Rất cao (TB/s)
Độ trễ	Trung bình	Thấp	Thấp
Hiệu quả năng lượng	Trung bình	Khá	Rất cao
Mật độ bộ nhớ	Trung bình	Trung bình	Cao
Khả năng mở rộng	Giới hạn	Khá	Tốt

Có thể thấy, mỗi loại bộ nhớ được thiết kế cho một mục đích khác nhau. DDR phù hợp với máy tính và máy chủ phổ thông, GDDR tối ưu cho card đồ họa tiêu dùng, trong khi HBM được phát triển để đáp ứng nhu cầu băng thông cực lớn của AI và điện toán hiệu năng cao.

Hình 2: HBM và các loại DRAM truyền thống

V. Vai trò của Advanced Packaging trong HBM

HBM sẽ không thể phát huy hiệu quả nếu chỉ dựa vào công nghệ DRAM. Để đưa bộ nhớ đến gần GPU và duy trì hàng nghìn kết nối tốc độ cao, ngành bán dẫn phải sử dụng Advanced Packaging – tập hợp các kỹ thuật đóng gói tiên tiến vượt xa phương pháp truyền thống.

Thay vì đóng gói từng chip riêng lẻ rồi kết nối qua bo mạch, Advanced Packaging cho phép tích hợp GPU và nhiều stack HBM trên cùng một package. Khoảng cách truyền tín hiệu được rút ngắn xuống chỉ còn vài milimet hoặc thậm chí nhỏ hơn, giúp tăng hiệu năng và giảm điện năng tiêu thụ.

1. Interposer – Cầu nối giữa GPU và HBM

Một thành phần quan trọng trong kiến trúc HBM là Interposer. Đây là lớp nền silicon chứa mật độ dây dẫn rất cao, đóng vai trò cầu nối giữa GPU và các stack HBM.

Nhờ Interposer, dữ liệu không cần truyền qua bo mạch chủ mà được trao đổi trực tiếp giữa GPU và bộ nhớ với tốc độ rất cao. Điều này góp phần tạo nên băng thông vượt trội của HBM.

2. Hybrid Bonding và các công nghệ hỗ trợ

Để tiếp tục nâng cao hiệu suất của HBM, các nhà sản xuất đang áp dụng nhiều công nghệ đóng gói tiên tiến khác như:

Hybrid Bonding: liên kết trực tiếp giữa các bề mặt đồng và điện môi, giúp tăng mật độ kết nối và giảm điện trở tiếp xúc.
Wafer Thinning: mài mỏng wafer trước khi xếp chồng, giúp giảm chiều cao của stack và cải thiện khả năng tản nhiệt.
Copper Filling: lấp đầy các lỗ TSV bằng đồng để tạo đường dẫn điện ổn định giữa các lớp DRAM.

Các quy trình này đòi hỏi độ chính xác cực cao và được thực hiện bằng những hệ thống thiết bị chuyên dụng trong chuỗi Semiconductor Manufacturing. Đây cũng là lý do HBM được xem là một trong những sản phẩm có quy trình chế tạo phức tạp nhất của ngành bán dẫn hiện nay.

Trong hệ sinh thái sản xuất HBM, nhiều giải pháp công nghệ như SABRE 3D, Striker ALD, VECTOR DT, DV-Prime, Coronus hay Syndion được sử dụng ở các công đoạn khác nhau, từ tạo cấu trúc TSV, lắng đọng màng mỏng, xử lý bề mặt đến kiểm soát chất lượng wafer. Sự kết hợp của các công nghệ này góp phần nâng cao tỷ lệ thành phẩm và đáp ứng yêu cầu ngày càng khắt khe của các thế hệ HBM mới.

Hình 3: Vai trò của Advanced Packaging trong HBM

VI. Tương lai của HBM trong kỷ nguyên AI

Sự phát triển của AI đang thúc đẩy HBM tiến hóa với tốc độ rất nhanh. Sau HBM2E, ngành công nghiệp đã lần lượt giới thiệu HBM3 và HBM3E với băng thông, dung lượng và hiệu quả năng lượng cao hơn để phục vụ các GPU AI thế hệ mới.

Trong những năm tới, HBM4 được kỳ vọng sẽ tiếp tục nâng cao hiệu suất thông qua giao diện bộ nhớ rộng hơn, số lớp DRAM nhiều hơn và khả năng tích hợp tốt hơn với các công nghệ Hybrid Bonding. Song song với đó, Advanced Packaging cũng sẽ trở thành yếu tố cạnh tranh quan trọng giữa các nhà sản xuất chip, bởi hiệu năng của GPU không còn phụ thuộc riêng vào tiến trình sản xuất mà còn vào khả năng tích hợp bộ nhớ.

Nhu cầu HBM được dự báo sẽ tiếp tục tăng mạnh nhờ sự mở rộng của AI Data Center, điện toán đám mây và các mô hình Generative AI. Không chỉ các hãng GPU, các nhà sản xuất bộ nhớ và doanh nghiệp cung cấp thiết bị chế tạo bán dẫn cũng đang đầu tư mạnh để đáp ứng xu hướng này.

>>> Xem thêm: PMAC, Precious Metals and chemicals Company trong bản đồ công nghệ bán dẫn Việt

Kết luận

HBM không đơn thuần là một phiên bản nhanh hơn của DRAM mà là một bước tiến quan trọng trong kiến trúc bộ nhớ dành cho AI. Bằng cách kết hợp 3D Stacking, TSV và Advanced Packaging, HBM giúp vượt qua giới hạn của Memory Wall, mang lại băng thông cao, độ trễ thấp và hiệu quả năng lượng vượt trội.

Khi các mô hình AI tiếp tục phát triển với quy mô ngày càng lớn, vai trò của HBM sẽ ngày càng trở nên quan trọng. Đồng thời, nhu cầu về các công nghệ như Interposer, Hybrid Bonding, Wafer Thinning cùng hệ thống thiết bị chế tạo bán dẫn tiên tiến cũng sẽ tăng theo. Có thể nói, HBM không chỉ là một công nghệ bộ nhớ mà còn là nền tảng giúp hiện thực hóa thế hệ GPU AI và AI Accelerator hiệu năng cao trong kỷ nguyên trí tuệ nhân tạo.

Liên hệ PMAC ngay để được đội ngũ chuyên gia tư vấn và trao đổi chuyên môn các giải pháp liên quan đến vật liệu, công nghệ và chuỗi cung ứng bán dẫn.