英偉達推出比H100更快的芯片，將于2024年二季度上市

　　·下一代版本的GH200 Grace Hopper超級芯片將成為世界上**個配備HBM3e內存的GPU芯片。HBM3e內存將使下一代GH200運行AI模型的速度比當前模型快3.5倍。

　　·最新版本的GH200超級芯片將于2024年第二季度推出。這個時間晚于AMD推出的最新數據中心GPU(Instinct MI300X)的上市時間。

　　英偉達首席執行官黃仁勛穿著他標志性的皮夾克登上了世界**計算機圖形學會議SIGGRAPH的舞臺。

　　太平洋時間8月8日，英偉達首席執行官黃仁勛穿著他標志性的皮夾克登上了世界**計算機圖形學會議SIGGRAPH的舞臺，宣布推出下一代版本的GH200 Grace Hopper超級芯片，該芯片將成為世界上**個配備HBM3e(High Bandwidth Memory 3e)內存的GPU芯片。與當前一代產品相比，最新版本的GH200超級芯片內存容量增加了3.5倍，帶寬增加了3倍;相比最熱門的H100芯片，其內存增加1.7倍，傳輸頻寬增加1.5倍。

　　下一代版本的GH200 Grace Hopper超級芯片將成為世界上**個配備HBM3e內存的GPU芯片。

　　GH200超級芯片本身并不是一個新產品，而是今年5月在中國臺北Computex展上發布的GH200芯片的更新版。有趣的是，另一家芯片巨頭AMD在6月推出搭載了192GB HBM3內存的數據中心GPU(Instinct MI300X)時，就有業界人士提出其可能難以形成優勢，因為英偉達可能會在同一時間段甚至更早時間內提供相同的內存。

　　英偉達超大規模和高性能計算副總裁兼總經理伊恩·巴克(Ian Buck)對澎湃科技(www.thepaper.cn)表示：“我們對這款新的GH200感到非常興奮。HBM3e不僅增加了GPU的容量和內存量，而且速度也更快。”

　　英偉達表示，HBM3e內存將使下一代GH200運行AI模型的速度比當前模型快3.5倍。不過一個關鍵的問題是，英偉達沒有透露超級芯片GH200的價格，這對計算成本高昂的大模型來說尤為重要，H100系列目前售價約為4萬美元。

　　值得注意的是，這次發布并未抬升英偉達的股價。其股價在發布會前已下跌約1%，消息公布后跌幅達3%，至盤中低點440.56美元，最終下跌1.66%至446.64美元。不過，AMD股價也在當天收盤下跌3.1%，至113.23 美元。與此同時，以科技股為主的納斯達克綜合指數下跌0.8%。

　　太平洋時間8月7日，摩根士丹利分析師愛德華·史丹利(Edward Stanley)發布報告稱，“無論是以英偉達為首的AI個股還是狹義AI類股，自年初以來漲幅都超過200%。但一般而言股市泡沫在達到頂點前的3年回報率中間值約在150%，由此可見近來這波AI概念股漲勢已經過頭。”

　　為什么內存對大模型重要?

　　隨著支撐生成式人工智能應用程序的基礎AI模型尺寸的增加，為了能夠在不連接獨立芯片和系統的情況下運行，大模型需要更大的內存量，以避免性能下降。

　　巴克對記者表示，新款GH200的內存“快得多”，“擁有更大的內存允許模型保留在單個GPU上，并且不需要多個系統或多個GPU來運行。”“額外的內存只會提高 GPU的性能。”目前即使使用英偉達最**的H100芯片，有些模型也必須在其他GPU中“分解”模型才能運行。

　　據英偉達介紹，最新版本GH200配備141GB的HBM3e內存，旨在處理“世界上最復雜的生成式人工智能工作負載，涵蓋大型語言模型、推薦系統和矢量數據庫”。

　　“我們正在為Grace Hopper超級芯片提供全球最快的內存增強。”黃仁勛在主題演講中說，“這款處理器旨在為全球數據中心的規模擴展而設計。”

　　據巴克對澎湃科技在內的媒體透露，最新版本的GH200超級芯片將于2024年第二季度推出。這個時間晚于AMD推出的最新數據中心GPU(Instinct MI300X)的上市時間，后者將搭載類似的5.2 TB/s帶寬，192GB HBM3內存。據悉，MI300X將在第三季度出樣，相關產品預計第四季度上市。

　　當地時間8月8日，英偉達CEO黃仁勛在發布會上拿出新款GPU時不小心在鏡面面板上沾了指紋。隨后，黃仁勛向觀眾道歉： 這可能是史上最糟糕發布會。(02:11)

　　HBM3e和HBM3是什么關系?

　　HBM(高帶寬內存)各代之間的區別主要在于速度。據TrendForce報告，市場上的HBM3根據速度細分為兩類：一類包括運行速度在5.6至6.4Gbps之間的HBM3，而另一類則采用8 Gbps的HBM3e。

　　HBM3e內存比當前一代GH200中的HBM3技術快50%，將GPU的數據傳輸速率從原始Grace Hopper的4TB提高到每秒5TB(萬億字節)。

　　英偉達尚未宣布他們將從哪里采購用于其GH200 GPU的全新HBM3e內存芯片。但此前據韓國《Money Today》和《首爾經濟日報》援引業內人士的消息稱，英偉達已向芯片制造商海力士(SK Hynix)索要HBM3e樣品，以評估其對GPU性能的影響。

　　英偉達計劃銷售兩種版本：一種版本包含兩個可供客戶集成到系統中的芯片，另一種版本是結合了兩種Grace Hopper設計的完整服務器系統。

　　巴克對記者表示，英偉達正在開發一種新的基于雙GH200的英偉達MGX服務器系統，該系統將集成兩個下一代Grace Hopper超級芯片。他解釋說，新的GH200將以英偉達的互連技術NVLink連接。

　　所謂超級芯片即是將英偉達的Grace中央處理單元(CPU)和Hopper圖形處理單元(GPU)連接在一起，以便它們能夠更有效地協同工作。借助新型雙GH200服務器中的NVLink，系統中的CPU和GPU將通過完全一致的內存互連進行連接，每個超級芯片可以以相同的方式與其他芯片連接在一起，從而使它們可以像單個單位一樣運作。

　　巴克表示，“CPU可以訪問其他CPU的內存，GPU可以訪問其他GPU的內存，當然GPU也可以訪問CPU的內存。因此，合并的超大型超級GPU可以作為一個整體運行，提供了144個Grace CPU核心，超過8 petaFLOP(每秒鐘進行1千萬億次浮點運算)的計算性能以及282GB的HBM3e內存。”

　　有趣的是，盡管名稱為“GH200”，英偉達并沒有談論GPU芯片本身的任何變化。從歷史上看，英偉達的型號數字明確表示產品和架構的變化，**個數字位置中的“2”表示全面的架構修訂，例如支撐了GeForce 900系列的“Maxwell 2”架構，所有這些部件的代號都是“GM2xx”。可能Hopper芯片本身在這個版本中已經經歷了修訂，但英偉達并沒有談論這方面的內容。

　　其他發布

　　除了GH200，英偉達的桌面AI工作站GPU系列也全面上新，一口氣推出了4款新品：RTX 6000、RTX 5000、RTX 4500和RTX 4000。針對企業客戶，英偉達還準備一套一站式解決方案—— RTX Workstation，支持最多4張RTX 6000 GPU。

　　針對數據中心市場，英偉達推出了最多可搭載8張L40S GPU的OVX服務器。據介紹，對于具有數十億參數和多種模態的生成式AI工作負載，L40S相較于老前輩A100可實現高達1.2倍的推理性能提升，以及高達1.7倍的訓練性能提升。

　　除了各種強大的硬件之外，英偉達還發布了全新的AI Workbench，來幫助開發和部署生成式AI模型。AI Workbench為開發者提供了一個統一且易于使用的工具包，能夠快速在PC或工作站上創建、測試和微調模型，并擴展到幾乎任何數據中心、公有云或英偉達的云服務DGX Cloud上。

　　作為最受AI開發者喜愛的平臺之一，擁有200萬用戶、超25萬個模型，以及5萬個數據集的Hugging Face也與英偉達達成合作。開發者可以通過Hugging Face平臺直接獲得英偉達DGX Cloud AI超算的加持，完成AI模型的訓練和微調。

　　此外，英偉達的元宇宙開發平臺Omniverse也進行了更新。在接入了OpenUSD和生成式AI工具之后，開發者可以更加輕松地生成模擬真實世界的3D場景和圖形。

　　OpenUSD是皮克斯動畫工作室開發的一種開放數據格式，允許團隊能夠在大規模3D工作流程上協同工作，并共享可在AR(增強現實)和VR(虛擬現實)項目中使用的3D對象和環境的信息。當地時間8月1日，美國3D內容行業的5家主要公司蘋果、英偉達、皮克斯、Adobe和Autodesk聯合成立了OpenUSD聯盟(AOUSD)。OpenUSD技術是Omniverse平臺的基礎，有一天可能成為“元宇宙”的3D圖形標準。