ChatGPT-4o，OpenAI的一小步，人類「AI助理」的一大步

來源：極客公園（ID：geekpark）

作者：黎詩韻

5 月 13 日，OpenAI 用一場春季發布會，再次攪動了整個 AI 行業。

在 Sam Altman 缺席的情況下，OpenAI CTO Mira Murati 擔綱介紹了新的 ChatGPT 產品 ChatGPT-4o。

短短 26 分鐘的發布會，卻幾乎是科幻電影《Her》的現實演繹。當你打开 ChatGPT，你面對的不再是一個只會幫你生成內容、或者進行僵硬語音聊天的工具——你喚起的將是一個「無所不能」的語音助手，或者說，一個越來越接近人類的「物種」。

它長出了「眼睛」，可以通過攝像頭看到你，比如它通過研究員上揚的嘴角判斷他的心情、通過他周圍的環境背景判斷了他正在做什么、甚至給出了造型建議；它能「看到」你的電腦桌面，直接幫你查看寫的代碼有什么問題。

它有了更靈敏的「耳朵」，能聽懂的不只是語言，還能聽懂研究員過於急促的呼吸聲，並引導他慢慢平穩呼吸、放松下來。

OpenAICTO Mura Murati 宣布推出 ChatGPT-4o | 圖片來源：OpenAI

它有了更靈活的「嘴巴」，對話不再有延時，你能隨時打斷它、它能隨時接住你的話。它的聲音能帶入感情，比如更冷靜一點、更激昂一點、甚至諷刺一點。它還能唱歌。

它也有了更聰明的「大腦」。它能幫研究員一步步解不等式，還可以做同聲翻譯、你可以通過它跟不同語種的人們交流。

這些強大的能力背後，源自 OpenAI 推出的新模型 GPT-4o。與現有模型相比，GPT-4o 的最大進步在於，它可以實時對音頻、視覺和文本進行推理——換句話說，它讓ChatGPT實現了真正意義上的多模態交互。

這不僅僅是技術進步的追求，更是應用普及的追求。OpenAI 的使命之一是讓 AI 普惠每個人，讓用戶能順滑地用上 AI 是至關重要的。在「模型即應用」的時代，這種交互體驗最終還是靠模型能力的提升。OpenAI 稱，GPT-4o（「o」代表「omni」）是邁向更自然的人機交互的一步。

發布會上，Mira Murati 宣布 ChatGPT-4o 將免費向所有用戶开放，而付費和企業用戶，可以搶先獲得體驗。

電影《Her》上映於 2013 年，它講述了一位人類愛上一位人工智能語音助理的故事。從今天 ChatGPT 呈現的能力來看，這樣的想象正在加速成為現實。

ChatGPT 的驚人進步：變身人類「超級助理」，甚至不需要人類參與

在 OpenAI 的官網上，呈現了 ChatGPT 作為個人語音「超級助理」的更多驚人應用場景。

首先是面向單個用戶，和人一樣，它提供的主要是「情緒價值」與「認知價值」。比如它能講笑話、唱生日快樂歌、玩遊戲、逗小狗、給人催眠、讓人放松等等；它能充當面試官，給人提供面試建議；它還能給一位盲人提供環境觀察，給他講述看到的景色、提醒他過馬路的路況。

盲人用戶使用 ChatGPT-4o「觀察」整個世界 | 圖片來源：OpenAI

接着是面向多個用戶，它提供的更多是一種「協同價值」。比如給兩個語言不通的人充當翻譯，讓他們能無障礙溝通；給兩個人做「剪刀石頭布」的遊戲裁判，先喊口令讓遊戲开始、之後還能准確判斷是哪個人贏了；充當一名「家教」，幫一位父親輔導他的孩子做作業；甚至作為一名「會議第三方」，主持和記錄多人會議。

最有意思的還是，不同 ChatGPT 之間的對話。這種無需人類參與的溝通，不僅充滿了科幻感，更讓人开始想象無需人類協作、而讓機器代替人類協作的未來。在一段演示中，一位用戶要求一部手機的 ChatGPT 代表自己，向另一部手機的 ChatGPT 申請售後，結果這兩個 ChatGPT 毫無阻礙地聊了兩分鐘，順利幫這位用戶「換了貨」。而 OpenAI 總裁 Greg Brockman 則做了一個調皮的演示，他讓兩個 ChatGPT 互動並唱了歌。

OpenAI 總裁 Greg Brockman 演示兩個 GPT 的互動 ｜圖片來源：OpenAI

一位曾在 10 年前就开始做「AI 語音助理」的前大廠高管對極客公園表示，他當時就設想過 AI 助理的終極形態應該是「多模態、無所不能」，但彼時技術並不支持，他認為 ChatGPT 會加速這種設想實現的可能——只是他沒想到，這個過程會來得這么快。

他認為，實現 AGI 的一個關鍵標志是，機器是否能具備了自主學習、自主迭代、自主解決問題等能力。這個突破看起來很遙遠，但當兩個 ChatGPT 开始互相聊天的時候，這個鴻溝看起來似乎淺了一點點。

GPT-4o 多模態大模型的技術進步、以及安全性

這些驚豔的產品表現，根本上源自於 GPT-4o 多模態大模型的技術進步。後者分為文本、語音、圖像三部分，GPT-4o 在這三塊都有提升，尤其是後兩者。

在文本方面，據 OpenAI 的技術報告，GPT-4o 在 MMLU（語言）、GPQA（知識）、MATH（數學）、HumanEval（編程）的評測指標上，都超出了 GPT-4T、GPT-4 (23 年 3 月最初發布版本)，以及競品 Claude 3 Opus、Gemini Pro 1.5、Llama3 400b、Gemini Ultra 1.0。比如在 0-shot COT MMLU 上，GPT-4o 創下了 88.7% 的新高分。

GPT-4o 在文本上的成績相當優異|圖片來源：OpenAI

最關鍵的，是音頻、多語言和視覺上的進步。

在音頻方面，過去 ChatGPT 的音頻缺陷是需要經過三個獨立的模型，從而存在延遲、且無法承載豐富信息。它先由第一個模型將音頻轉錄為文本，再由 GPT-3.5 或 GPT-4 接收文本並輸出文本，最後由第三個模型將該文本轉換回音頻——一方面，它使得音頻的傳輸存在延遲，GPT-3.5 的平均延遲為 2.8 秒，GPT-4 的平均延遲為 5.4 秒。另一方面，模型會丟失大量信息，從而無法直接觀察音調、多個說話者或背景噪音，也無法輸出笑聲、歌唱或表達情感。

而 GPT-4o 的解決辦法是，跨文本、視覺和音頻端到端地訓練了一個新模型，這意味着所有輸入和輸出都由同一神經網絡處理。OpenAI 稱這是其突破深度學習界限的最新舉措。目前，GPT-4o 可以在短至 232 毫秒、平均 320 毫秒的時間內響應音頻輸入，與人類的響應時間相似。同時在音頻 ASR 性能和翻譯性能上，GPT-4o 都比 Whisper-v3（OpenAI 的語音識別模型）的性能更優。

M3Exam 基准測試既能用於多語言評估，也可以用於視覺評估。它由多項選擇題組成，包括圖形和圖表。在所有語言的基准測試中，GPT-4o 都比 GPT-4 更強。另外在視覺理解評估上，GPT-4o 在視覺感知基准上都實現了最先進的性能。

GPT-4o 在視覺理解上同樣能力不錯 | 圖片來源：OpenAI

一位大模型訓練者曾對極客公園表示，模型的技術領先性從來不是靠打榜評分，而是靠用戶最真實的感受和體驗。從這個角度來說，GPT-4o 的技術領先性將很容易見分曉。

OpenAI 表示，GPT-4o 的文本和圖像功能將於發布會當天在 ChatGPT 中推出。免費用戶就可以使用，不過 Plus 付費用戶能享受高達 5 倍的消息容量。在未來幾周內，OpenAI 會在 ChatGPT Plus 中推出新版本的語音模式 GPT-4o alpha。

而开發人員現在就可以在 API 中訪問 GPT-4o 的文本和視覺模型。與 GPT-4 Turbo 相比，GPT-4o 速度提高了 2 倍、價格降低了一半、速率限制提高了 5 倍。在未來幾周內，OpenAI 計劃向一小部分值得信賴的合作夥伴推出 GPT-4o 的新音頻和視頻功能。

一項強大的技術最令外界擔憂的，就是它的安全可控性。這也是 OpenAI 最核心的考慮之一。

OpenAI 表示，GPT-4o 通過過濾訓練數據和通過訓練後細化模型行為等技術，在跨模式設計中內置了安全性。其還創建了新的安全系統，為語音輸出提供防護。為了保證更好的安全性，OpenAI 表示在接下來的幾周和幾個月裏，將致力於技術基礎設施、培訓後的可用性以及發布其他模式所需的安全性。

OpenAI 從沒讓外界失望，再次引領科技圈的未來

作為這波 AI 浪潮的开啓者、引領者，OpenAI 的每一次發布和更新，都關系着其龐大用戶量的漲跌、公司競爭的進退、以及整個行業的關注和走向。

在這次發布會之前，外界對 OpenAI 頗多謠傳、也包括質疑。一周前，外媒報道此次 OpenAI 要發布的是一款搜索引擎——在一年最重要的新聞發布時刻，這家公司沒有推出 GPT-5，這引來外界對其創新力的頗多懷疑。而如果無法拿出足夠創新力的技術和產品，這家公司將難以重振用戶的增長、滿足整個市場對它的期待。

自 2022 年底推出 ChatGPT 後，這家公司的用戶量經歷了大起大落。據 Similarweb 估計，其全球訪問量在 2023 年 5 月達到 18 億次的峯值。但進入 2023 年下半年後，其用戶量則有所下降，至今仍未追平去年 5 月的全球訪問量峯值記錄。

自 2022 年 11 月以來，ChatGPT 在全球和美國的流量增長情況｜圖片來源：Similarweb

這次發布會，直接關系着其用戶量的增長情況。

外界對搜索引擎還是頗為關注的，Similarweb 表示這個消息當天讓 ChatGPT 流量大漲。不過，在發布會前兩天，OpenAI CEO Sam Altman 才對外澄清，此次既不會發 GPT-5、也不會發搜索引擎，「但我們一直在努力开發一些我們認為人們會喜歡的新東西！對我來說感覺就像魔法一樣。」他把這件事描述得更小了。

或許，人們是在一種低期待中觀看這次 OpenAI 的發布會。但最終，他們收獲到的是一次強烈的震撼。這或許正是 OpenAI 想要的反差效果。

無論是最初的 GPT-3.5，還是去年這個時候的 GPT-4，還是去年底的 GPTs，又或者是今年年初的 Sora——OpenAI 再一次證明，它不會讓世人失望。盡管 Google、Claude、Character AI、Perplexity 等競爭對手正攫走更多新用戶、以及資本的青睞，但 OpenAI 依然證明自己有能力引領着科技創新的「高地」。

ChatGPT 和其他聊天機器人的訪問量對比｜圖片來源：Similarweb

在此次 OpenAI 推出基於 GPT-4o 的「超級智能助理」之後，這似乎也將成為接下來各科技大廠爭先追趕的方向。

據外媒報道，近期谷歌一直在測試使用人工智能打電話。傳聞，它將推出一款名為「Pixie」的多模態個人助理，作為「Google Assistant」的替代品。它可以通過攝像頭查看物體，並執行人類指令。這在明天的 Google I/O 大會上就會見分曉。

而近日，外媒亦報道，蘋果即將與 OpenAI 達成協議——在 6 月份蘋果舉辦的年度全球开發者大會上，蘋果或將在 iOS 18 中引入由 ChatGPT 提供支持的「聊天機器人」，這或將對蘋果的個人語音助理 Siri 帶來顛覆性影響。

難以想象，僅僅一年半的時間，OpenAI 就將技術推到了今天這個地步、讓「超級助理」的想象這么快發生在我們眼前。然而，這也只是 OpenAI 釋放的技術實力的一角。畢竟，我們今天談到的僅僅是 GPT-4 的更新，還沒有說到 GPT-5。OpenAI 到底會給我們帶來多少震撼、以及隨之會產生多少憂慮，都是未知的問題。

如果站在科技的未來隧道往回看，今天 GPT-4o「超級語音助理」的誕生，或許會成為科技史上一個標志性的時刻。但或許又如同 OpenAI 首席運營官 Brad Lightcap 幾天前所說，「在接下來的 12 個月裏，我們應該會覺得今天使用的（AI）系統糟糕得可笑。」

本文首發於極客公園，如需轉載請聯系極客君微信 geekparkGO