估值暴漲3倍,《瞬息全宇宙》幕後公司Runway引領AI影視新時代

2023-06-15 16:06:14

近日，生成式AI平臺Runway在谷歌領投的D輪融資中募集到約一億美元。Runway不僅是投資界的新星，其產品RunwayML參與制作的《瞬息全宇宙》也在不久前斬獲了奧斯卡最佳女主角獎。

“這是一個神奇的世界，留給人類的是千變萬化的瞬間。”正如電影裏臺詞闡述的那樣， Runway旗下的視頻編輯工具Gen-2展現了AI將文本轉化為視頻世界的魔力與神奇 ，只需要輸入短短幾個詞語或者一句話的描繪，就能為我們生成想要的視頻畫面。

視頻是當代社會內容媒體的重要組成部分，而TikTok、Instagram、Snapchat和YouTube等視頻應用也是過去幾年下載量最高的應用之一。而短視頻更符合現代人在快節奏與高信息密度下利用碎片化時間的娛樂需求，垂直細分領域亦是短視頻的發展趨勢， Runway恰好滿足二者 。

下面我們將探究Runway的發展歷程，並介紹旗下核心產品與獨特技術，並結合AIGC與其對國內外娛樂行業的影響進行分析。

Runway崛起之路

Runway是福布斯公布的2023年度AI 50榜單最值得關注的上榜公司之一，但他的崛起絕不是一蹴而就，而是經歷了巧合與必然。

◉ 求學階段

Runway是由Cristóbal Valenzuela（CEO）、Anastailities Germanidis（CTO）和Alejandro Matamala Ortiz（CDO）於2018年創立。

（Runway的創始人：Anastailities Germanidis（上），Alejandro Matamala Ortiz（左）和Cristóbal Valenzuela（右）在曼哈頓）

在創辦公司前，Valenzuela花費大量時間了解計算機如何應用於視覺藝術。他雖然只擁有經濟學背景，卻癡迷於電腦的藝術創造力，並好奇信息技術能夠使藝術家對圖像與視頻產生何種結果。

因此，他在搬家去紐約後，報名攻讀了紐約大學的ITP（交互電子媒體）專業。這是一個為期2年的知名碩士項目，主要培養學生去探索新科技，並與其他學科交互，從而改善人類生活。

Valenzuela在紐約大學研究ML模型在創意領域中圖像和視頻分割的應用方面時，結識了另外兩名創始人。

他們在學習ImageNet和AlexNet後，意識到世界有大事即將發生，但沒有人去做，那為什么不選擇自己去做呢？

◉ 雛形初現

最初他們只專注於學術道路，而在進行論文研究時，Valenzuela意識到完美的學術假想只會成為實踐的泡沫，於是他开始更多地與藝術行業人員進行交流，在學校开始了第一個在Photoshop和Premiere中建立了一系列實驗和集成的研究項目，並受到外界的鼓舞。

Adobe的人工智能團隊也向他們拋出了橄欖枝 ，但他們想要的是控制整個創造流程，而不是根據既定的路线去創造。Valenzuela認為Premiere和Final Cut只是服務於舊媒體時代專業人員創作影音的工具，並非為短視頻時代下個人服務的視頻工具。於是，他們產生了成立公司的想法。

很快，在2018年，Runway首先被作為一個模型應用商店推出，使用戶能夠針對各種用例部選擇機器學習模型，產品特色是應用可視化界面抽象了原本的推理和訓練過程。

隨着模型目錄和用戶群的不斷增長，團隊开始看到在視頻編輯中出現了一種特別的使用模式 。許多視頻編輯和電影制作人使用Runway，是因為他們發現了利用模型能夠完成自動化繁瑣工作流程的潛力。

於是Runway开始嘗試利用其模型目錄中的知識，圍繞視頻編輯進行更深入的構建。整個團隊意識到他們正在削減制作視頻的時間和成本，並使ML視頻編輯變得人人皆可參與。就在那時，他們改變了策略，決定致力於構建即時視頻生成工具。

◉ 大獲成功

Runway被定義為下一代視頻創作者的新工具。Valenzuela表示在藝術創意中，人們永遠無法找到能做一切事情的工具， 但Runway卻是一款根據人們的問題與洞察力而提供幫助的工具 ，旨在減少人們制作視頻的繁瑣與麻煩。

Runway利用市場對生成式人工智能的熱情，在連續募集幾輪風險投資後，估值達到15億美元，一躍成為新晉生成式AI獨角獸。在今年3月份與亞馬遜達成一項大型雲協議後，Runway又在不久前與谷歌籤署了一項重大的雲計算協議，可謂是一呼百應，春風得意。

如今，Runway已成為一款成熟的視頻編輯器，可以在瀏覽器中進行實時協作，並擁有越來越多的AI視頻編輯和創建功能。它被成千上萬的用戶使用，無論是從業余愛好者，還是專業人員。

Runway的產品布局

在Runway，他們相信每個人都有自己的故事。其使命是： 讓所有人都能進行內容創作 。因此該公司正在利用計算機圖形學和機器學習的最新進展來突破創造力的界限，從而降低內容創作的障礙，掀起新一波講故事的浪潮。

在過去的四年裏，該公司從頂級投資者那裏籌集了資金，團隊規模從小到只有容納一張桌子的人數，到團隊成員來自各行各業並富有創造力，多年來致力於人工智能視頻編輯軟件的研發。

Runway的產品和技術有很多，Runway創業之初的產品形態是一個關於ML（機器學習）模型的應用商店，用戶可以在這上面使用數百個模型，比如StyleGAN模型。

隨後Runway基於新的AI算法發布大約30余個AI創作工具 ，包含音頻、圖片、視頻、3D和生成五個大類，涵蓋了幾乎所有的音視頻內容生成和處理工具。

此外，RunwayML作為全球首款AI生成視頻軟件，是其向傳統內容平臺和移動端進軍的表率。它除了提供一整套多模態人工智能工具庫之外，該工具庫還推出圖像修復、綠幕修圖、運動跟蹤三大核心功能，可謂是將黑科技直接拉滿，效果炸裂的程度。

如今， Runway的核心產品為視頻編輯器Gen-1和Gen-2 。Gen-1模型可以通過輸入文本或圖像，改變原視頻的風格，例如將現實中的實拍鏡頭轉換為卡通剪紙世界。Gen-2模型可以直接使用文本生成視頻場景，使用戶可以使用文本提示生成“逼真的視頻內容”並“自動剪輯視頻”。

Runway的產品和技術不言而喻，其客戶除了包含許多知名品牌和機構以外，例如Adobe、Facebook、Google、Netflix和The New York Times等，還有抖音和YouTube用戶以及主流電影和電視劇工作室都在使用該公司的創造，被廣泛應用於電影、電視和廣告等領域。例如：《黑寡婦》中的特效制作；斯蒂芬-科爾伯特主持的《深夜秀》；《瞬息全宇宙》狂拽酷炫的視覺效果等等。

其應用領域的擴展背後是產業面臨的巨大變革 ，作為視頻領域的“神奇魔法”，Runway等工具受到了影視制作行業的歡迎，但並非所有人都對AI表示歡迎。

編劇抵制，特效最愛

隨着AI工具火遍全球，人們的生活的確變得更加便捷， 但這也導致了文案、編劇等文字類工作者面臨失業 。公司用AI寫劇本，這不僅是在搶編劇們的飯碗，同時也貶低了“人類勞動的尊嚴和價值”。

導演郭帆表示，“《流浪地球》第三季如果拍攝的話，現場可能至少一半以上的人會減少掉。人工智能對我們來說既是挑战，也是機遇，可能是我們彎道超車好萊塢的機會。”

目前在好萊塢，制片方出於成本考量，已經在大量使用AI進行創作 。據媒體此前報道，AI機器在學習某熱門美劇的劇情後，已經可以為新一季的第一集撰寫劇本大綱。

這種利用AI進行創作的行為卻引發了美國好萊塢編劇工會（WGA）數千名電影和電視編劇的強烈抵制，他們抗議收入過低和AI越來越多地取代人類參與劇本寫作的現象。《黑鏡》主創查理·布洛克在接受採訪時說，他曾經用ChatGPT寫了一集《黑鏡》劇本，結果“跟垃圾一樣”。

雖然同屬於影視行業， 但特效制作者對待AI的態度卻截然相反，他們正在積極擁抱AI技術 。

斬獲奧斯卡金像獎的《瞬息全宇宙》的特效團隊便是在AI技術的加持下，僅靠五人就完成了後期制作，其中名場面 “熱狗手”還獲得了業內外的一致好評。

這個成功的案例表明，AI技術在影視創作中的潛力是巨大的，也是不可忽視的。為了探討AI技術如何改變影視行業的未來，最近，非營利組織AI LA在洛杉磯舉辦了“AI on the Lot”會議， 最終得到“人工智能的時代已經到來”和“所有創意工作人員都應該學會使用它”這兩個結論 。

趨勢不可擋，技術革新的車輪滾滾而過，AI的入侵大戲已在好萊塢悄然上演。

AI公司正在入侵好萊塢

的確，人工智能的時代已經到來，並且它正在改變着影視行業的遊戲規則，越來越多的AIGC公司已蓄勢待發，為影視制作帶來全新的靈感。

◉ Deep Voodoo

Deep Voodoo由知名動畫劇集《南方公園》的創作者Trey Parker和Matt Stone創辦，專注於开發Deepfake技術的視效服務和合成媒體技術項目。

Deepfake是一種利用深度學習等機器學習方法創建或合成視聽覺內容的技術 ，這種技術可以將已有的圖像或視頻中的人臉或表情替換成目標人物，從而達到僞造身份或表情的目的。

該公司的換臉技術自推出以來便廣受關注，比如說唱歌手Kendrick Lamar的《The Heart Part 5》MV以及籃球巨星科比的換臉視頻。

◉ Metaphysic

同樣利用Deepfake技術進行視頻創作的還有Metaphysic，該公司曾在去年9月利用Deepfake讓已經故去多年的貓王登上了《美國達人秀》的舞臺。

此外，在經典電影《阿甘正傳》原班人馬合作的新片中，該公司將利用AI技術對主角湯姆·漢克斯和羅賓·懷特的面部進行年輕化還原。

◉ MARZ

MARZ作為漫威劇集《旺達幻視》以及Netflix劇集《太陽召喚》背後的視效工作室，开發了基於AI的視效工具“Vanity AI”。

Vanity AI可以自動地完成2D的老化、年輕化、美容、假發和假肢等視效修飾，大大縮短了制作時間和成本 。

此外，MARZ公司的COO Matt Panousis認為配音和畫面不同步的問題是內容無法得到更好傳播的主要原因之一，因此該公司正着手开發一項用於解決音畫不同步問題的工具，這種工具將能幫助傳媒公司們更好地放眼海外以尋求更大的發展。

◉ Respeecher

Respeecher是一家烏克蘭的初創公司，成立於2018年， 擅長運用AI技術“克隆”陳舊影像檔案中演員的聲音，然後用於新的電影或遊戲制作中 。在去年Disney+推出的劇集《歐比旺·克諾比》裏，Respeecher就成功“克隆”了黑武士的標志性呼吸聲。

同樣，在另一部改編自《星球大战》、由盧卡斯影業打造的劇集《波巴·費特之書》裏，Respeecher也還原了盧克·天行者的聲音。

此外，在2021年贏得艾美獎的紀錄短片《Event of Moon Disaster》裏，Respeecher也利用機器學習技術來處理了1969年尼克松關於阿波羅11號任務的演講的畫面和聲音。

除了上述的幾家公司，還有一些AIGC公司也正在改變着影視和動畫行業。比如利用生成式AI技術為外語電影和劇集重新進行本地語言配音的Deepdub，以智能計算機視覺技術、光場技術、深度學習技術為核心的中國公司疊境數字（DGene），以及由參演過《X战警》和《頭號玩家》的明星Tye Sheridan和動畫特效專家Nikola Todorovic聯合創立的公司Wonder Dynamics等。