AI伺服器 帶旺記憶體需求
根據集邦科技調查,人工智慧(AI)伺服器可望帶動記憶體需求成 長,伺服器DRAM平均容量可達1.2~1.7TB之間,企業用固態硬碟(E nterprise SSD)容量提升上則呈現非必要擴大容量的態勢,但在傳 輸介面上會為了高速運算的需求而優先採用PCIe 5.0。未來在AI模型 逐漸複雜化的趨勢下,將刺激更多的記憶體用量。 集邦調查指出,AI伺服器可望帶動記憶體需求成長,以現階段而言 ,一般伺服器的DRAM普遍配置約為500~600GB左右,而AI伺服器在單 條模組上則多採64~128GB,平均容量可達1.2~1.7TB之間。 以企業用SSD而言,由於AI伺服器追求的速度更高,其要求優先往 DRAM或高頻寬記憶體(HBM)滿足,在SSD的容量提升上則呈現非必要 擴大容量的態勢,但在傳輸介面上會為了高速運算的需求而優先採用 PCIe 5.0。 相較於一般伺服器而言,AI伺服器多增加通用繪圖處理器(GPGPU )的使用,因此以NVIDIA A100 80GB配置四張或八張卡採計,HBM用 量約為320~640GB。未來在AI模型逐漸複雜化的趨勢下,將刺激更多 的記憶體用量,包括推升伺服器DRAM容量達2.2~2.7TB、企業用SSD 容量倍增至8TB、及HBM的搭載容量亦倍增至512~1024GB。 根據目前NVIDIA所定義的深度學習及機器學習(DL/ML)型AI伺服 器平均每台均搭載四張或八張高階顯卡,搭配兩顆主流型號的x86伺 服器中央處理器(CPU),而主要拉貨力道來自於美系雲端業者如Go ogle、亞馬遜AWS、Meta與微軟等。 據集邦統計,2022年高階搭載GPGPU的伺服器出貨量年增約9%,其 中近80%的出貨量均集中在中國及美國八大雲端業者。展望2023年, 微軟、Meta、百度、字節跳動相繼推出基於生成式AI衍生的產品服務 而積極加單,預估今年AI伺服器出貨量年增率可望達15.4%,2023年 至2027年AI伺服器出貨量年複合成長率(CAGR)約12.2%。 至於在HBM市場來看,去年三大原廠市占率分別為SK海力士的50% 、三星的40%、及美光的10%等。此外,高階AI深度學習GPU的規格 也刺激HBM產品更迭,今年下半年伴隨NVIDIA H100與AMD MI300的搭 載,三大原廠也已規劃相對應規格HBM3的量產。SK海力士為目前唯一 量產新世代HBM3產品的供應商,整體HBM市占率可望藉此提升至53% ,而三星、美光則預計陸續在今年底至明年初量產,市占率分別為3 8%及9%。