皮衣教主的新作，英偉達新款AI芯片H200正式亮相

就在十幾個小時前的晚上，皮衣教主黃仁勳，帶着他的英偉達推出了堪稱最強的AI芯片H200 Tensor Core GPU： 算力不變，性能飆升，容量翻倍，帶寬大漲。 具體來說，跑70B的Llama 2，推理速度比H100快90%；跑175B的GPT-3，推理速度比H100快60%；首撘141GB HBM3e，是H100顯存容量的約1.8倍；帶寬4.8TB/s，是H100帶寬的1.4倍；明年第二季度發貨。

在當前算力荒的背景下，大科技公司們估計又要开始瘋狂囤貨了。不得不承認的一點，老黃和英偉達的節奏真的愈發可怕了。而且H100和H200還是互相兼容的，這意味着使用前代訓練與推理大模型的企業，很快就可以無縫更換成最新的H200，只要买得到。

一、地表最強如何強？

H200支持英偉達自家的NVLink和NVSwitch高速互連，可支持超過1750億參數規模大模型的訓練和推理，相比於前代H100，H200的性能提升了60%到90%。英偉達高性能計算和超大規模數據中心業務副總裁Ian Buck（伊恩·巴克），對此表示： “要利用AIGC和高性能計算應用創造智能，就必須使用大型、快速的GPU顯存，來高速高效地處理海量數據。借助H200這全球領先的AI計算平臺，業界領先的端到端AI超算平臺的速度會變得更快，一些世界上最重要的挑战，都可以被解決。”

此外H200也是首款內置全球最快內存HBM3e的GPU，擁有高達141GB的顯存。按照英偉達官方的說法， 在對GPT-3的推理表現中，H100的性能就比A100提高了11倍，H200的性能又比A100提高到了18倍 。巴克還稱，英偉達將在未來幾個月內繼續強化H100和H200的性能，預計明年發布的新一代旗艦AI芯片，基於Blakcwell架構的B100將繼續突破性能與效率的極限，敬請期待。同時明年英偉達還會將H100的產量增加兩倍，目標是生產二百多萬塊。

具體說來，對比前代，H200的提升最主要體現在大模型的推理性能表現上，在處理高性能計算的應用程序上也有20%以上的提升，而對於用戶來說非常重要的推理能耗，H200直接減半。 在這套組合拳的加持下，H200能大幅降低用戶的使用成本，繼續讓用戶“买的越多，省的越多”。如果說H100現在就是科技行業的“黃金”，那么英偉達這次是又成功制造了“鉑金”。

二、超算界的軍備競賽

除了英偉達自己投資的CoreWeave、Lambda和Vultr之外，亞馬遜雲科技、谷歌雲、微軟Azure和甲骨文雲基礎設施，都即將成為首批部署基於H200實例的供應商。此外，在全新的H200加持下，GH200超級芯片也將為全球各地的超級計算中心提供總計約200 Exaflops的AI算力，用以推動科學創新。

多家頂級超算中心紛紛宣布，即將使用GH200系統構建自己的超級電腦。 德國尤裏希超級計算中心將在超算JUPITER中使用GH200超級芯片。這臺超算將成為歐洲第一臺超大規模的產品，是歐洲高性能計算聯合項目（EuroHPC Joint Undertaking）的一部分。JUPITER總共擁有24000個GH200超級芯片，通過Quantum-2 Infiniband互聯。每個Grace CPU包含288個Neoverse內核， JUPITER的CPU就有近700萬個ARM核心。它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度（FP64）算力。這臺超級電腦預計在明年安裝完畢。

日本的先進高性能計算聯合中心，由東京大學和築波大學共同成立，也將在下一代超級電腦中採用GH200超級芯片構建。作為世界最大超算中心之一的德克薩斯高級計算中心，也將採用英偉達的GH200構建超級電腦Vista。位於伊利諾伊大學香檳分校的美國國家超級計算應用中心，將利用GH200超級芯片來構建他們的超級電腦DeltaAI，把AI計算能力提高兩倍。此外，英國政府資助下的布裏斯托大學正在負責建造英國最強大的超級電腦Isambard-AI，也將配備5000多顆GH200超級芯片，提供21 Exaflops的AI計算能力。此外，基於十月英偉達發布的TensorRT-LLM开源庫，GH200超級芯片的速度是雙插槽x86 CPU系統的110倍，能效是x86 CPU + H100 GPU服務器的近2倍。

在全球TOP 500超算榜中，得益於由之前H100 Tensor Core GPU提供支持的新系統，英偉達在這些系統中提供了超過2.5ExaFLOPS的HPC性能，相比五月排名中的1.6ExaFLOPS進步明顯。同時新一期的全球TOP 500超算榜名單中包含了有史以來使用英偉達技術數量最多的系統為379個，而五月時的榜單中為372個，其中包括分布在全球各地的38臺超級電腦。

這只是高校與研究組織間，如果算上AMD、英特爾等企業，那應該早已不再是軍備競賽，簡直可說是白熱化的了。 面對英偉達這次的H200，老對手AMD的打算是，利用即將推出的大殺器Instinct MI300X來提升顯存性能。MI300X將配備192GB的HBM3和5.2TB/s的顯存帶寬，這將使其在容量和帶寬兩方面超出H200一截。而英特爾也不可能闲着，計劃提升Gaudi AI芯片的HBM容量，並表示明年推出的第三代Gaudi AI芯片將從上一代的96GB HBM2e增加到144GB。英特爾Max系列目前的HBM2容量最高為128GB，英特爾計劃在未來幾代產品中，還要增加Max系列芯片的容量。

三、圍繞核心，劍指計算

距離去年搭載GPT-3.5的ChatGPT首秀即將過去一年，AIGC與大模型催生的大量加速計算需求仍然在不斷增長，而且可能還將繼續走高，對大模型的开發和部署帶來的算力需求也成為許多企業的核心痛點，性能更強的AI芯片仍然是當下大模型企業競爭的重點領域之一。 如今英偉達再次圍繞着AIGC與大模型的开發和部署甩出了一系列硬件基礎設施和軟件工具，幫助企業突破大模型开發和部署的核心痛點，並且通過在數值、稀疏性、互聯、內存帶寬等方面的革新，不斷鞏固其在AI時代的霸主地位。 贏麻了，老黃真的又贏麻了。

很多人現在最關心的問題是H200賣多少錢？英偉達暫時也還未公布。要知道，此前一塊H100的售價就在2.5萬美元到4萬美元間，而要訓練大模型至少需要數千塊，所需的花費何止千萬。此前一段時間，AIGC與大模型社區的一篇短文《我們需要多少GPU？》曾廣為流傳，並以圖片的形式很快傳遍各大社交網絡的角落。雖然只是將一些企業訓練自家大模型時的數據羅列出來，並對未來可能的發展趨勢簡單預測，但透過此也能看出外界對GPU這種稀缺資源的焦慮，管中窺豹可見一斑。“GPT-4大約是在10000-25000塊A100上訓練的；Meta需要大約21000塊A100；Stability AI用了大概5000塊A100；Falcon-40B的訓練，用了384塊A100。根據馬斯克的說法，GPT-5可能需要30000-50000塊H100。摩根士丹利則說是25000個GPU。”雖然OpenAI的CEO奧爾特曼否認公司正在訓練GPT-5，但也說過“OpenAI的GPU嚴重短缺，使用我們產品的人越少越好。”

目前能知道的是，等到明年第二季度H200上市，屆時必將引發新的風暴。科技網站The Verge表示，現在最關鍵的問題在於英偉達能否為市場提供足夠的H200，或者它們是否會像H100一樣在供應量上受到限制。而對這個問題，英偉達並沒有給出明確的答案，只表示公司正在與“全球系統制造商和雲服務提供商”合作來供應這些芯片，亞馬遜、谷歌、微軟和甲骨文等雲服務商將是明年二季度首批使用H200的公司之一。從今年年初起，英偉達股價已經上漲了超230%，截至今天，其總市值已經達到1.2萬億美元。英偉達股價在H200發布後一度漲超490美元，最終報收於486.2美元，漲0.59%，盤後漲0.3%，股價實現九連漲。而且美國時間11月21日盤後，英偉達將發布今年第三財季財報。根據美國投資研究公司Zacks Investment Research的數據，預計調整後的每股收益（EPS）將達到3.01美元，而去年同期僅為0.34美元。