AI算力演進驅動HBM需求爆發(fā)

海力士 HBM3 芯片, 數(shù)據(jù)來源：海力士官網(wǎng)，財通證券研究所

自2023年初以來，生成式人工智能（AI）模型因其不斷的應用和商業(yè)化而受到極大關注。這些模型的發(fā)展推動了對人工智能基礎設施的需求，尤其是在算力和通信領域。生成式AI模型，如大型語言模型GPT，需要大量高性能硬件（如GPU和TPU）、龐大的高質量數(shù)據(jù)集以及先進的軟件算法。這些模型含有數(shù)十億參數(shù)，需要比傳統(tǒng)SOC更大的存儲空間和內(nèi)存訪問能力。隨著GPT等模型算力需求的增長，對芯片的速度和容量提出了更高的要求。在這個背景下，Chiplet技術在算力芯片領域的應用顯得尤為重要，它不僅降低了大面積芯片的成本和提高了良率，還便于引入高速HBM存儲，從而允許更多計算核心的集成。

作為全球知名的AI計算領導者，NVIDIA占據(jù)了全球約80%的算力芯片市場。2022年發(fā)布的H100 GPU芯片，結合了Chiplet技術和臺積電4nm工藝，通過將HBM3顯存子系統(tǒng)集成到芯片中，實現(xiàn)了超高的顯存帶寬和性能。NVIDIA最近推出的AI超級計算機DGX GH200結合了Arm架構的Grace CPU和Hopper架構的GPU，具備強大的存儲和通信能力，特別適合于生成式AI模型的訓練。

除了NVIDIA，AMD最新發(fā)布的MI300X GPU是公司迄今為止最先進的AI圖形處理器，明確挑戰(zhàn)NVIDIA的H100 GPU。這款基于Chiplet設計的加速器擁有多個基于3D堆疊的5nm和6nm小芯片，周圍封裝了大容量HBM3顯存，擁有1530億個晶體管，顯存性能和容量均超過了NVIDIA的H100，非常適合于AI運算和適配大型語言模型。

隨著GPU等AI芯片的發(fā)展，帶寬需求不斷增加，傳統(tǒng)的GDDR5技術已無法滿足高性能計算場景的需求。HBM通過重新調(diào)整內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍以上，大大降低了功耗。這些AI芯片的興起不僅促進了HBM等高傳輸能力存儲技術的發(fā)展，而且成為存儲巨頭應對市場下行行情的重要增長點。

英偉達、AMD 目前主流 AI 訓練芯片都采用 HBM 以增加帶寬,來源：AMD、英偉達網(wǎng)站，國金證券研究所

解決內(nèi)存瓶頸，HBM的優(yōu)勢與挑戰(zhàn)？

DRAM 分類結構圖，資料來源：互聯(lián)網(wǎng)公開信息整理，中原證券

HBM（High Bandwidth Memory）是一種高性能的3D DRAM技術，專門設計用于解決傳統(tǒng)內(nèi)存技術在帶寬和容量方面的局限性。這種高帶寬存儲器通過使用TSV（Through-Silicon Vias）技術，將多個DRAM芯片垂直堆疊在一起，并與GPU或CPU緊密封裝，從而實現(xiàn)了顯著的性能提升。

HBM 通過中介層（Interposer）與 GPU 連接, 資料來源：TrendForce，華安證券研究所

相對于其他類型的DRAM，HBM的主要優(yōu)勢在于其短外部導線長度，這意味著數(shù)據(jù)傳輸速度更快，能耗更低，因此被認為是最理想化的3D DRAM形式之一。這種設計使HBM能夠突破傳統(tǒng)內(nèi)存技術的限制，尤其是在內(nèi)存容量和帶寬方面，從而克服了被稱為“內(nèi)存墻”的性能瓶頸。

HBM技術在提供大容量和高帶寬方面具有顯著優(yōu)勢。例如，最新的HBM3可以達到819GB/s的高帶寬，這遠遠超過了傳統(tǒng)的DDR4和GDDR6內(nèi)存技術。這種顯著的性能提升對于AI計算、區(qū)塊鏈和數(shù)字貨幣挖礦等需要處理大量數(shù)據(jù)的應用場景至關重要。

除了高性能計算領域外，HBM還被廣泛應用于其他硬件，如汽車存儲器、GPU顯存芯片、部分CPU內(nèi)存芯片、邊緣AI加速卡和Chiplets等。例如，在NVIDIA的A100加速卡和富岳超級計算機的A64FX芯片中均應用了HBM技術。隨著異構計算和小芯片技術的發(fā)展，對高帶寬內(nèi)存的需求也在增長。

AI處理器架構方面的IO問題也是HBM技術發(fā)展的重要推動因素。隨著AI模型變得更加復雜，算力需求增加，內(nèi)存帶寬成為了一個關鍵瓶頸。HBM通過晶片堆疊技術和硅聯(lián)通層將處理器和存儲器連接起來，提高了集成度和效率，降低了功耗，從而在一定程度上解決了IO瓶頸問題。

HBM的核心技術挑戰(zhàn)在于TSV技術的應用，它通過在硅芯片內(nèi)部形成通孔并將多個芯片垂直堆疊來實現(xiàn)。這種方法不僅減小了封裝面積，而且允許在相同厚度下堆疊更多的芯片。隨著對更高容量存儲器的需求增加，未來可能需要12層甚至更多層的芯片堆疊技術。為了實現(xiàn)這一目標，需要減小芯片的厚度、縮小凸塊電極的尺寸，并采用混合鍵合技術，去除芯片間的填充物，實現(xiàn)直接銅電極連接。

由于 HBM 較傳統(tǒng) GDDR 與 DRAM 具備更高的帶寬，在數(shù)據(jù)流量不斷提升的當下，除了當前的AI 芯片的相關應用以外，未來有望在其他各類邏輯芯片、通信行業(yè)交換機與路由器等都產(chǎn)生較廣闊的應用，成為存儲行業(yè)未來新的增長點。

價格上漲與需求激增，三巨頭壟斷HBM市場

2022-2026E HBM 市場規(guī)模預測情況，資料來源：TrendForce，中銀證券測算

HBM的平均售價是DRAM的三倍以上，受到產(chǎn)能限制和生成式AI等應用的推動，價格一直上漲。根據(jù)TrendForce數(shù)據(jù)，高端AI服務器GPU已普遍采用HBM，預計2023年全球HBM需求量將年增近六成，達到2.9億GB，2024年將再增長三成。預測從2023到2027年，HBM市場的復合年均增長率達到82%。根據(jù)DRAMexchange的數(shù)據(jù)，2022年7月31日8Gb DDR4合約價格為2.88美元，2023年同日價格為1.34美元。假設HBM價格為DDR4的5倍，2023年全球AI服務器存儲市場規(guī)模預計為76億美元，預計2026年能達到492.4億美元，2023-2026年CAGR為86.4%。

HBM 市占率預測，資料來源：TrendForce，中銀證券

目前HBM市場主要由SK海力士、三星和美光所壟斷。2022年，SK海力士占據(jù)了市場的50%，三星約40%，美光約10%。SK海力士和三星的市占率預計在2023-2024年間將會持平，達到約95%的總市場份額。美光則專注于開發(fā)HBM3e產(chǎn)品，但可能略有下滑。

HBM2014-2022 年發(fā)展歷程，資料來源：SK 海力士官網(wǎng)，三星官網(wǎng)，美光官網(wǎng)，中銀證券整理

SK海力士于2013年率先推出HBM1，2017年推出HBM2，2018年JEDEC推出HBM2E規(guī)范。2021年10月, SK海力士首創(chuàng)于并于2022年6月量產(chǎn)HBM3，三星也將于2023年末至2024年初量產(chǎn)。SK海力士被認為是目前唯一可以實現(xiàn)HBM3量產(chǎn)的廠商。他們最新開發(fā)的HBM3E數(shù)據(jù)傳輸速率提升了25%。三星和美光也積極布局HBM新產(chǎn)品，加速推動12層HBM內(nèi)存的生產(chǎn)。美光的HBM3 Gen 2計劃于2024年初量產(chǎn)，并在2022年宣布推出業(yè)界首款8層24GB HBM3 Gen2內(nèi)存芯片。

2024 年 HBM3 比重有望超越 HBM2e, 數(shù)據(jù)來源：TrendForce、開源證券研究所

根據(jù)TrendForce的數(shù)據(jù)，2023年主流需求從HBM2E轉向HBM3，HBM3需求占比提升至39%，預計2024年市場需求占比將達60%。三星與SK海力士的HBM訂單在2023年快速增加，HBM3規(guī)格DRAM價格上漲了5倍。三星電子和SK海力士計劃明年大幅增加高端HBM芯片的產(chǎn)量，SK海力士還將在其清州工廠增加新的HBM生產(chǎn)線。

三大存儲廠商 HBM 產(chǎn)品規(guī)劃情況, 數(shù)據(jù)來源：公司官網(wǎng)，東吳證券研究所

先進封裝的決勝時刻，HBM與chiplet技術融合

作為一種先進的存儲器技術，HBM通過硅中介層與系統(tǒng)芯片（SoC）集成在一起。HBM技術的核心之一是TSV（硅通孔）技術，它允許多個芯片（通常是4-8層）通過硅穿孔電極垂直堆疊，實現(xiàn)芯片間的連接。隨著市場對高容量存儲器產(chǎn)品需求的增加，預計未來可能需要采用更多層次的多芯片堆疊技術，例如12-16層甚至更高的堆疊技術。這種堆疊技術可以進一步提高存儲器的容量和性能，滿足市場不斷增長的需求。

應用于主流 GPU 的 HBM 內(nèi)存技術持續(xù)升級，資料來源：英偉達官網(wǎng)，AMD 官網(wǎng)，中銀證券整理

SK海力士是在HBM技術應用方面的先驅之一。2021年，海力士成功開發(fā)出全球首款12層堆疊HBM3 24GB產(chǎn)品，并在2022年實現(xiàn)量產(chǎn)。該產(chǎn)品采用了混合鍵合（HB）技術，去除了芯片間的填充物，使其直接連接到銅電極上，實現(xiàn)了更高的堆疊層數(shù)。海力士還在與包括Nvidia在內(nèi)的多家無晶圓廠公司討論HBM4的集成設計方法，預計將在臺積電生產(chǎn)，使用晶圓鍵合技術將HBM4器件安裝在邏輯芯片上。長江存儲也采用了混合鍵合HB技術。他們創(chuàng)新地在兩片晶圓上分別制造存儲陣列和外圍控制電路，然后通過HB技術將兩片晶圓鍵合在一起，這一關鍵技術的應用使得3D NAND閃存的生產(chǎn)成為可能。

目前，HBM技術與chiplet技術的發(fā)展路徑正逐漸擬合。SK 海力士正在與包括 Nvidia 在內(nèi)的多家無晶圓廠公司討論其 HBM4 集成設計方法。SK 海力士和 Nvidia 很可能會從一開始就共同設計該芯片，并在臺積電生產(chǎn)，臺積電還將使用晶圓鍵合技術將 SK 海力士的 HBM4 器件安裝在邏輯芯片上。為了使存儲器和邏輯半導體在同一芯片上作為一個整體工作，聯(lián)合設計是不可避免的。

海力士提出的HBM4結構將I/O直接構建為die-to-die的接口，這正是chiplet的核心工藝。Die-to-die技術特別適合于存儲和邏輯電路的連接，目前可見的chiplet方案通常是SRAM和CPU的堆疊或是大芯片方案的分區(qū)應用。如果海力士能成功地將大容量堆疊應用到GPU上，這將是一個領先的嘗試，并可能成為chiplet技術發(fā)展的關鍵推動者。

日月光推出的VIPack?先進封裝平臺旨在提供高密度水平和垂直互連解決方案，適用于高效能運算、AI、機器學習等應用。此外，他們的FOCoS-Bridge平臺作為六大核心封裝技術支柱之一，能夠實現(xiàn)高密度芯片對芯片連接、高I/O數(shù)量和高速信號傳輸。這些技術已在大型高效能封裝體中通過橋接連接整合多個ASIC和HBM元件，并且支持多種串列和平行接口標準，如XSR、BOW、OpenHBI、AIB和UCIe，實現(xiàn)晶片對晶片的高頻寬、低延遲互連。這些進展預示著日月光及其他先進封裝技術領導者將在市場上扮演越來越重要的角色，特別是在滿足全球AI高算力芯片應用需求方面。

全球部分先進封裝解決方案（2D/2.5D/3D）,來源：CEIA 電子智造，李楊《先進封裝與異構集成》，信達證券研發(fā)中心

在先進封裝技術的決勝時刻，產(chǎn)業(yè)鏈的變化已經(jīng)非常明顯。例如，日月光最近在與Nvidia和TSMC討論CoWoS產(chǎn)能外移的問題，目標是增加同樣面積下的晶體管密度和數(shù)據(jù)傳輸量。這種合作可能使得日月光能夠避免后續(xù)成熟封裝工藝的重復建設，同時幫助Nvidia解決CoWoS產(chǎn)能不足的問題，促進先進封裝技術的發(fā)展。

隨著HBM4的設計成熟，Chiplet技術的發(fā)展將更加順暢。Chiplet本質是類似于SoC的復用IP模式，存儲廠和TSMC能找到共同點，例如，合作以免相互競爭。AMD的2.5D或3D主要堆疊SRAM，但現(xiàn)在海力士攜帶最好的DRAM和HBM與TSMC的最佳5nm工藝合作，預示著Chiplet技術的重大進步。如果HBM+Chiplet應用普及，對球鋁的需求可能會達到1000噸。封裝前道的散熱主要依賴材料和die堆疊，die越大、層數(shù)越多、體積越大，則材料使用量越多。HBM4方案可能會導致對球硅和球鋁的大量需求。

總結：HBM比臺積電更重要？

在AI時代，HBM已成為一項關鍵技術，它的出現(xiàn)和發(fā)展對傳統(tǒng)存儲技術構成了重大挑戰(zhàn)，同時為未來人工智能和深度學習應用的發(fā)展提供了強大的基礎支持。隨著數(shù)據(jù)量和計算量的不斷增長，超越現(xiàn)有DDR/GDDR帶寬瓶頸的HBM可能成為解決存儲問題的唯一方案。

11月14日，英偉達發(fā)布的NVDA H200顯卡進一步加強了這種趨勢。得益于HBM3e的搭載，H200顯卡擁有141GB的內(nèi)存和4.8TB/秒的帶寬。在GPU架構無需調(diào)整的情況下，其推理速度達到了前代產(chǎn)品H100的兩倍。HBM3E是一種基于3D堆疊工藝的DRAM存儲芯片，AI服務器對其需求強烈。在摩爾定律放緩、GPU核心利用率不足的背景下，對高帶寬存儲的需求反而成為了性能提升的瓶頸，HBM因此成為破局的關鍵。當前H200搭載的HBM3e為海力士新一代產(chǎn)品，明年三星和美光也有望同步量產(chǎn)，標志著新一輪行業(yè)趨勢的到來。

HBM的使用采用了Chiplet技術，其中關鍵的材料包括TSV（穿透硅孔）和LMC（液態(tài)塑封料）。隨著HBM堆疊層數(shù)的增加，液態(tài)塑封料（LMC）、顆粒狀塑封料（GMC）、TSV電鍍液等材料的需求也隨之增長。同時，為了提高HBM的IO密度，需要增加每層芯片的TSV通孔數(shù)量，這也對電鍍液等材料提出了更高的要求。

筆者認為，從經(jīng)濟角度來看，HBM技術的發(fā)展和應用對于相關企業(yè)來說，意味著賣價的提升和利潤的增加。盡管生產(chǎn)成本變化不大，但賣價的提高使得利潤回到正值。海力士和三星等大型原廠正在對HBM的產(chǎn)能進行調(diào)整，以匹配當前AI領域的需求。這種產(chǎn)能調(diào)配也帶來了較高的毛利。由于各家企業(yè)現(xiàn)在都在減少普通產(chǎn)品的產(chǎn)能，轉而增加HBM等高性能產(chǎn)品的生產(chǎn)，這導致供應量的減少，進而推動了產(chǎn)品價格的上升。因此，HBM技術不僅在技術層面上對AI和深度學習的發(fā)展起到了推動作用，也在經(jīng)濟層面為相關企業(yè)帶來了顯著的利益增長。

最后，NVDAH200的發(fā)布揭示了算力下一步提升路徑。某位存儲廠商高管對筆者表示，“H200證明HBM比臺積電更重要”。英偉達證明了就算不添加更多CUDA核或超頻，只增加更多的HBM和更快的IO，即便保持現(xiàn)有Hopper架構不便，依然可以實現(xiàn)相當于架構代際升級的性能提升。