微軟首款5nm自研芯片Maia亮相----能和H100掰手腕

2023-11-16 15:11:29

已經坐擁OpenAI的微軟顯然不滿足於此，昨晚一場發布會，首款5nm自研芯片Maia正式亮相；同時Bing Chat也更名Copilot，甚至萬物皆可Copilot；登錄微軟账號，就可以在Copilot專屬網站上免費使用GPT-4、DALL·E 3。

OpenAI的全新王炸爆款，自定義GPT也被塞進Copilot全家桶，變身為Copilot Studio。全球打工人利器Office，也在Copilot的加持下全面升級。

一、微軟自研芯片

此前的江湖上，關於微軟在悄悄自研芯片的傳言始終不絕於耳。上個月初爆料的消息顯示其代號“雅典娜”，用於訓練大模型，微軟想以此避免對英偉達過度依賴。

現在證實了，傳言不是空穴來風。今年的AIGC與大模型熱潮讓H100的需求也水漲船高，目前H100的單價普遍在2.5萬到4萬美元之間，之前也曾多次提及。這塊蛋糕之大肉眼可見，微軟絕對不會置之不理。微軟CEO納德拉在發布會上表示，兩款芯片Azure Maia和Azure Cobalt CPU明年就會上市。

雖然對比亞馬遜、谷歌、Meta等巨頭，微軟是最後一個發布自研芯片的，但一亮相就毫不含糊，這次的Maia 100 GPU對比業內競品毫不遜色。具體說來，Maia採用的是臺積電5nm節點工藝，擁有1050億個晶體管，並支持微軟首次實現的8位以下數據類型，即MX數據類型。在算力方面，Maia在MXInt8格式下的算力可以達到1600 TFLOPS，在MXFP4格式下則為3200 TFLOPS，足夠與英偉達的H100和AMD的MI300X掰手腕。Maia在網絡IO方面相當優秀，而在顯存帶寬方面則稍遜一籌。與目前使用第二代Trainium/Inferentia2芯片的亞馬遜相比，紙面上的各項指標都堪稱碾壓式領先。

不過Maia是在LLM熱潮出現之前就开始設計的，因此顯存帶寬只有1.6TB/s。雖然比Trainium/Inferentia2高，但明顯低於TPUv5，更不用說H100和MI300X了。此外，微軟採用了四層HBM工藝，而非是英偉達的六層，甚至AMD的八層。根據一些業內人士分析，微軟在設計芯片時加載了大量的SRAM，從而幫助減少所需的顯存帶寬，但這似乎並不適用於現在的大模型，因此實際效果目前還不好說。

Maia的另一個有趣之處在於微軟對網絡的處理。就AMD和英偉達而言，它們都有自己專屬的Infinity Fabric和NVLink，用於小範圍芯片的高速連接（通常為八個）。如果要將數以萬計的GPU連接在一起，則需要將以太網/InfiniBand的PCIe網卡外接。對此，微軟採取了完全不同的方式：每個芯片都有自己的內置RDMA以太網IO。這樣每個芯片的IO總量就達到了4.8Tbps，一舉超過了英偉達和AMD。同時為了充分發揮Maia的性能，微軟專門打造了名為“Ares”的機架和集群，並首次採用了名為“Sidekick”的全液冷設計。這些機架是為Maia高度定制的，比標准的機架更寬。

具體來說，微軟在一個機架上搭載了八臺服務器，其中每臺服務器有四個Maia加速器，也就是共計32個Maia芯片。此外還配備網絡交換機，而且Maia機架的功率可以達到約40KW，這比大多數仍只支持約12KW機架的傳統數據中心也要大得多。

還有點需要說明的是，微軟使用的是自己從第三方獲得SerDes授權，並直接向臺積電提交設計要求，而不是依賴Broadcom或Marvell這樣的後端合作夥伴。在發布會進行的同時，OpenAI的CEO奧爾特曼就表示，第一次看到Maia芯片的設計時，自己和同事都感到非常興奮，而OpenAI也在第一時間就用GPT-3.5 Turbo對Maia進行了測試與改進。

而在CPU方面，Cobalt是一款基於Armv9架構的雲原生芯片，針對通用工作負載的性能、功率和成本效益進行了優化。具體來說，Cobalt共有128個核心，並支持12條DDR5通道。與微軟第一款基於Neoverse N1的Arm CPU相比，基於Neoverse N2的Cobalt 100在性能上提升了40%。

與Arm傳統的只授權IP的商業模式不同，Neoverse Genesis CSS（計算子系統）平臺可以使CPU的开發更快更容易，且成本也更低。就Cobalt而言，微軟採用的是兩個Genesis計算子系統，並將它們連接成一個CPU。

Arm此前曾表示，有一個芯片項目從啓動到完工前後只用了一年多。雖然沒有說究竟是誰，不過根據業內人士推測很可能就是微軟。可以說，微軟在Maia芯片上花費了許多心思。在設計上的獨具匠心不僅讓Maia具有高性能，還能控制每個內核和每個虛擬機的性能和功耗。目前微軟正在Microsoft Teams和SQL Server等工作負載上測試Cobalt，預計明年正式向客戶提供用於各種工作負載的虛擬機。

事實上很多人都不了解的一點，微軟在芯片开發上的歷史頗為悠久。二十多年前，微軟就和Xbox合作，還為Surface設備共同設計了芯片。2017年左右，微軟就开始構建雲硬件堆棧。這次發布的新品Maia芯片和Cobalt都是在微軟內部構建的，微軟對整個雲服務器堆棧進行了深入檢修，以優化性能，功耗和成本。微軟硬件系統負責人Rani Borkar（拉妮·博卡爾）對此表示：“我們正在重新思考AI時代的雲基礎設施，並從盡可能優化該基礎設施的每一層。”

現在可以明確的一點，微軟、AMD、Arm、Meta、英特爾、英偉達和高通在內的集團，都在推動大模型時代的數據格式的標准化進程。

二、萬物皆可Copilot

與兩款芯片同步的，微軟Copilot也迎來了全新時代。就在發布會現場，納德拉宣布Bing Chat的普通版和企業版正式更名為Copilot。除了自家的Edge，Copilot還可以兼容Chrome，Safari等，並且很快就上线移動設備。Copilot免費版可以在Bing和Windows中直接訪問，還有專門入口https://copilot.microsoft.com/

今年初，微軟還曾多次提到要與谷歌在搜索和AI領域保持競爭。但現在回看，微軟顯然是醉翁之意不在酒，悄無聲息的就把目光投向了ChatGPT。就在OpenAI宣布每周有一億人使用ChatGPT後，Bing Chat直接改名。這不得不讓外界猜想，盡管有價值數十億美元的合作關系，雙方關系也相當好，但微軟和OpenAI仍在爭奪同一批客戶，而Copilot就是微軟試圖拋給消費者和企業的最佳選擇。同時發布會上還發布了一款低代碼工具Copilot Studio，允許用戶可以在同一網頁上進行構建、部署、分析、管理內容。

更重量級的是，Copilot Studio與OpenAI的GPTs無縫集成。與之配套的還有一個可供分析的儀表板，允許管理員集中監視使用情況並實時分析，在管理中心內控制訪問權限。微軟還將Dynamics 365 Guides也集成到了Copilot，將AIGC與混合現實（MR）相結合，幫助一线員工完成復雜的任務。未來的工程師無需搜索大量文檔或紙質手冊，僅通過自然語言和手勢就能查詢信息。

三、微軟：我們和英偉達是互補

對於芯片來說，最重要的就是性能。跟英偉達的H100、H200，AMD的MI300X比較，Maia表現如何呢？對此問題，博卡爾沒有正面回應，只是重申微軟與英偉達、AMD的合作對於自家Azure雲業務的未來很重要。

需要提前說明的是，微軟所做的內存權衡其實是非常不利的，這使得微軟很難與英偉達競爭。比如H100的內存帶寬是Maia的兩倍多，H200是其三倍，而MI300X還要更高。因此，Maia在大模型推理方面的性能劣勢明顯。就每秒處理更大批的token而言，GPT-4推理的性能大約是H100的1/3。不過這本身並不是一個大問題，因為制造成本與英偉達的巨大利潤率彌補了大部分差距。問題是電源和散熱仍需要更多成本，而且token到token的延遲更差。

在聊天AI和許多協同Copliot工具等對延遲極為敏感的應用中，Maia很難與英偉達和AMD競爭。後兩種GPU都可以使用更大的批處理量，同時可接受延遲，因此它們的利用率會更高，性能TCO也比Maia高得多。而在GPT-3.5 Turbo等參數較小的大模型中，情況可能要好一些。但微軟不可能只部署針對過去產品的優化硬件。隨着時間的推移，GPT-3.5 Turbo遲早要被逐步淘汰。

不僅在硬件上強強聯合，微軟在發布會上還宣布將英偉達AI代工廠服務（Nvidia AI Foundry）引入Azure。此外微軟還推出了全鏈條开發工具Azure AI Studio，它提供了完整周期的工具鏈，是一個端到端的平臺，包括模型的开發、訓練、評估、部署、定制等等。