英偉達推出定制版大模型ChipNeMo，專攻芯片設計

圖片來源：由 無界 AI 生成

半導體芯片雖然體積微小，但其設計之難度在全世界都是極具挑战性的。昨天蘋果的半小時發布會上，全新的M3系列就此亮相，雖然難免又被人說擠牙膏，但事實一再表明，即使是擠牙膏也不是人人都會的。對半導體芯片的設計與制造之難，可能比航空母艦更甚，雖然直觀上看二者的體量完全不在一個水平线上。

在剛剛开幕的ICCAD 2023大會上，英偉達（NVIDIA）展示了用大模型測試芯片的能力，引發了外界的一片嘖嘖稱奇。之前曾說過，一根頭發的橫截面就能容納200萬個晶體管，其精密可見一斑。在顯微鏡下，像M3這樣的頂級產品，看起來就像是許多精心規劃的街區組成的城市，數百億個晶體管則連接在比頭發絲還要細一萬倍的街道上。 為了建造這樣一座數字街區，需要多個工程團隊堅持不懈的合作努力，短則數月長則數年。 其中有的小組負責確定芯片的整體架構，有的小組負責制作和放置各種超小型電路，還有的小組負責進行測試。每項工作都需要專門的方法、工具、軟件程序和電腦編程語言。

最近，來自英偉達的研究團隊开發了一種名為ChipNeMo的定制大模型，以自家內部數據為基礎進行訓練，用於生成和優化軟件，並為人類設計師提供幫助。

英偉達團隊並沒有直接部署現成的商業化或开源大模型，而是採用了以下領域適應技術：自定義分詞器、領域自適應持續預訓練（DAPT）、具有特定領域指令的監督微調（SFT），以及適應領域的檢索模型。 最終結果表明，與通用型基礎大模型如700億級參數的Llama 2相比，這些領域適應技術能夠顯著提高大模型的性能，不僅在一系列設計任務中實現了類似或更好的性能，而且還使大模型的規模縮小了許多，定制的ChipNeMo大模型是130億參數級。

具體來說，英偉達團隊在三種芯片設計應用中進行了評估：工程助理聊天AI、EDA代碼生成，以及錯誤總結和分析。其中聊天AI可以回答各類關於GPU架構和設計的問題，並且幫助工程師快速找到了技術文檔；代碼生成器已經可以用芯片設計常用的兩種專業語言，創建大約10到20行的代碼片段了；而分析工具可以自動完成維護更新錯誤描述這一非常耗時耗力的任務。

對此，英偉達首席科學家Bill Dally（比爾·戴利）表示， 即使只將生產力提高5%也是一個巨大的勝利，而ChipNeMo便是大模型在復雜的半導體設計領域，邁出了重要的第一步 。這也意味着，對於高度專業化、精細化的領域，完全可以利用其內部數據來訓練有用的AIGC大模型。

雖然參數量級更大的Llama 2也可能達到與ChipNeMo差不多的精度，但考慮較小的大模型及其附加的成本效益也同樣重要。英偉達的ChipNeMo可以直接加載到單個A100 GPU的顯存中，且無需任何量化，這就直接使得它的推理速度可以得到大幅提升。同時也有其他相關研究表明，參數量相對較小的大模型推理成本要比更大的大模型低幾倍，甚至十幾倍。

距今兩個多世紀的第一次工業革命為世界帶來了工業時代，最終以“機器可以制造機器”為結束的標志。如果以此類推，AI 2.0時代應該能實現“AI可以訓練AI”。 雖然聽起來仍然遙不可及，但現在AI已經可以用於科研產業，特別是芯片制造這樣的天花板級產業了，或許未來的曙光也就從此开始。