2024乍到，會成為小模型的當打之年嗎？

作者：小巖

編輯：美美

來源： 新火種

乘着ChatGPT爆火的東風，2023年成為了當之無愧的“大模型爆發之年”。跟隨ChatGPT的腳步，諸多大廠和知名企業推出了自己的AI大模型。也正因此，大模型賽道的競爭變得異常激烈，燒錢的勢頭也變得異常兇猛。

不過，這樣的趨勢很可能在2024年產生變化。每個事物的發展都要經歷“產生，發展，高潮，低谷”的階段， 已經在2023年大放異彩，湧現無數高光時刻的大模型很可能在2024年漸漸冷卻，褪掉光環，而小模型，則有可能成為今年的破局之道。

“大模型雖然亮眼，但企業對這些技術的採用幾乎沒有實質性的增長”。

衆所周知，在高新技術和燒錢測試的加持下，大模型產品的表現變得十分突出，整個賽道也卷的出奇。但可惜的是，這些花大力氣砸出來的優秀大模型產品很難成功變現。

根據印度IT巨頭Infosys的最新發現， 只有6 %的歐洲公司通過生成式AI用例創造了商業價值 。麥肯錫也在2023年的一份報告中得出結論，“盡管生成式AI的使用可能會刺激其他人工智能工具的採用，但我們認為，企業對這些技術的採用幾乎沒有實質性的增長。”

而資本市場對於大模型AI的態度也不樂觀。從融資規模來看，生成式AI的投資浪潮是一次“短暫繁榮”，盡管頭部以及率先搶佔先機的AI公司獲得了不少資本的青睞，但後續的AI公司如果想要收獲資金，並不容易。根據Crunchbase數據顯示，2023 年，人工智能獨角獸公司的融資大幅下降，僅為 2021 年市場高峯時的25 %左右；全球最活躍的9大 VC 在AI獨角獸公司的投資也是大幅下降。

究其原因，這並不難理解。潮水退去，方知誰在裸泳。投資者都是趨利避害的，自然想看到自己投資的AI公司產出盡可能多的利潤。在這種情況下，針對AI的投資泡沫會越來越少，據此，AI公司試錯的成本將大大提高。

大模型發展即將受阻，小模型能否順勢而為，迎來自己的井噴元年？

在這種情況下，AI模型需要朝着效率更高，成本更低的方向去發展。從這個角度去說，小模型很可能比大模型更實用，更方便。

Snorkel AI曾做過一個試驗，分別用GPT-3微調和自己搭建的小模型來訓練一個法律領域的垂直模型。GPT-3的微調和搭建成本是7418美元，10000推理的花費是173美元，而自己搭建的小模型成本僅為1915美元，10000次推理也只是花費了0.26美元。 從正確率來看，GPT-3微調的垂直模型正確率為71.4 %，小模型則為71.3 %。

值得一提的是，GPT-3的參數量很大，是小模型的1400倍。我們當然不能因為GPT-3微調的正確率與小模型的正確率相似就妄下結論，認為“參數量沒用”。不過，這或許就是“殺雞焉用牛刀”的道理， 就像《華爾街日報》提到的那句玩笑，用GPT-4總結電子郵件就像“讓蘭博基尼送披薩”。畢竟，在很多場景下，用戶需要的並沒有那么多。

目前，國內的AI領域也在面臨相同的狀況。

如今，國內已經發布的所謂“大模型”超過200個，“百模大战”進行的如火如荼。而處於頭部的幾個大模型都曾宣稱自己的參數規模超千億級別，有的甚至達到了萬億的規模。

但規模只要夠大，就一定夠好嗎？未必。百度的李彥宏曾經說過，“100多個大模型浪費社會資源……尤其在中國算力還受限制情況下，企業應該去探索各行各業的應用結合，全新的 APP產品可能性等。”

事實上，與李彥宏持有相同觀點的人並不在少數。相較於要把AI模型的規模不斷做大這件事，大家更應該關注如何將模型更好的應用到實處。 不是大模型做不起，而是小模型更具性價比。

做小模型的本質，其實是在做離用戶更近的模型。

更重要的是，從某種層面來說，更好操作，更低成本的小模型或許更能匹配C端用戶的核心訴求。

大模型看似高大上，但卻存在成本高，個性化不足的問題。 如果大模型可以變小，甚至直接走進移動端，將模型塞進手機，智能汽車，機器人等設備，那么一定會大大提高C端用戶的黏着度。特別是從創業角度來看，搭建離用戶更近的模型自然也更有生存空間，因為他們離用戶更近。

事實上，很多企業已經將這樣的策略提上了日程。有媒體報道，早在2022年初，阿裏巴巴達摩院，上海浙江大學高等研究院，以及上海人工智能實驗室的聯合研究團隊通過蒸餾壓縮和參數共享等技術手段，將3.4億參數的M6模型壓縮到了百萬參數，其規模只有以大模型的三十分之一，卻保留了大模型90 %以上的性能。當然，2022年的3.4億，較今天的大模型規模來看不算太大，但這個舉動無疑為“大規模瘦身” 开了一個好頭。

2023年初，關於AI大模型的競爭逐漸激烈，局面逐漸焦灼，最終演變成了一場聲勢浩大的模型競賽。如今，潮水褪去，在耗費了大量金錢，人力，時間成本之後，愈來愈多的AI公司悟出了一個道理：如何“變大”並不是關鍵，關鍵在於要如何“既大又好”，更重要的是，當大模型進入應用環節，如何該做到“以小馭大。

如同區塊鏈行業一樣，野蠻生長之後勢必會迎來監管的壓力，AI也將面臨同樣的狀況。如今，隨着AI影響力的增強，相關的問題也开始凸顯譬如Midjourney + Elevenlabs 生成的假新聞就引起過極大的影響。

此外，AI大模型的推進將消耗掉大量的資源。 有新聞報道，到2027年，全球的AI需求可能會消耗掉66億立方米的水資源，幾乎相當於美國華盛頓州全年的取水量。AI對環境和能源可能造成的影響會對AI行業造成一定的經濟壓力和政治壓力。到了那時，如何用更少的數據，更少的能源訓練出更好用的模型，就成為了未來的重中之重。