OpenFunction：新一代开源函數計算平臺

2021-09-22 18:09:22

概述

無服務器計算，即通常所說的 Serverless，已經成為當前雲計算領域的熱門話題與趨勢技術。無服務器計算是一種契合於當下雲原生生態的开發、運行模式。無服務器並非不依賴服務器，而是對开發者而言服務器被抽象為更精確的算力單元。加州大學伯克利分校在論文 A Berkeley View on Serverless Computing 中提出的關於 Serverless 的觀點——Serverless computing = FaaS + BaaS 被廣泛接受，而 FaaS (函數即服務) 是 Serverless 的核心。

自 AWS Lambda 面世後，各大雲計算巨頭廠商紛紛投入 Serverless 战場，爭相推出各自的 Serverless 或 FaaS 平臺。另一方面，开發者不希望被特定廠商綁定的意愿也讓开源的 Serverless 項目有了一席之地。如今 OpenFaaS（faas 倉庫 20.3k）、Kubeless（6.7k）、Fission（6.4k）、OpenWhisk（5.4k）、Knative（serving 倉庫 3.9k）社區已經擁有大量的擁簇與开發者。

那么為什么 KubeSphere 社區要做一個自己的 FaaS 項目而不是直接集成現有的主流 Serverless 或 FaaS 框架？或者說現在的 Serverless 市場為什么還需要 OpenFunction ？

Serverless 新愿景

根據 CNCF 的雲原生報告可以看出，Kubernetes 在容器編排技術領域擁有絕對的優勢，甚至可以將 Kubernetes 作為雲原生的代名詞。雲原生是目前備受矚目的技術潮流，該領域的創新非常活躍，陸續湧現出了衆多優秀的开源項目（比如 Serverless 領域的 KEDA、Knative 等），並且還將繼續引領技術趨勢。在 Kubernetes 宣布 1.20 版本將棄用 Docker、不再將其作為默認的容器運行時之後，盡管 Docker 仍然佔據着容器運行時領域最大的份額，但對於雲原生开發者來說，不得不开始着手順應這方面的變化。

與此同時，人們生活方式的變化不斷催生新的業務模式，5G、大數據、邊緣計算、AI 推理、圖數據庫等服務應運而生。這些應用場景不但擴大了 Serverless 的潛在市場，結合雲原生的技術潮流也孵化出很多新的技術，如 Dapr、WebAssembly 等。如何突破現有項目的局限引入更新更強力的技術，如何抹平運行時之間的差異降低應用的开發成本，逐漸成為了开發者的新煩惱。

OpenFunction 項目背景

OpenFunction：新一代开源函數計算平臺

OpenFunction开源項目鏈接：

https://github.com/OpenFunction/OpenFunction

OpenFunction 是 KubeSphere 社區發起的开源 FaaS 項目，目前的核心开發人員均來自 KubeSphere 團隊。KubeSphere 社區一直陸續收到社區用戶對 Serverless 或 FaaS 功能的需求，也注意到了社區开發者參與 Serverless 开發的興趣：

KubeSphere 是否有計劃集成 Knative ？我愿意參與开發！
KubeSphere 有 FaaS 方面的計劃嗎？是否可以集成 OpenFaaS ?
可否提供日志告警的功能？這個需求本質上是可自動伸縮的異步數據處理。

和雲原生一樣，Serverless 是個不容錯失的賽道。僅僅集成現有的 Serverless 或 FaaS 項目還不足以體現 Serverless 這個領域的重要性，於是 KubeSphere 社區從 2020 年下半年开始對 Serverless 領域進行深度調研。經過一段時間的調研後，我們發現：

現有开源 FaaS 項目絕大多數啓動較早，大部分都在 Knative 出現前就已經存在了；
Knative 是一個非常傑出的 Serverless 平臺，但是 Knative Serving 僅僅能運行應用，不能運行函數，還不能稱之為 FaaS 平臺；
Knative Eventing 也是非常優秀的事件管理框架，但是設計有些過於復雜，用戶用起來有一定門檻；
OpenFaaS 是比較流行的 FaaS 項目，但是技術棧有點老舊，依賴於 Prometheus 和 Alertmanager 進行 Autoscaling，在雲原生領域並非最專業和敏捷的做法；
近年來雲原生 Serverless 相關領域陸續湧現出了很多優秀的开源項目如 KEDA、 Dapr、 Cloud Native Buildpacks（CNB）、 Tekton、 Shipwright 等，為創建新一代开源 FaaS 平臺打下了基礎。

綜上所述，我們調研的結論就是：現有开源 Serverless 或 FaaS 平臺並不能滿足構建現代雲原生 FaaS 平臺的要求，而雲原生 Serverless 領域的最新進展卻為構建新一代 FaaS 平臺提供了可能。於是 KubeSphere 社區決定發起 OpenFunction 項目，其目標是構建新一代开源函數計算平臺。

开源項目與社區發展

截至 2021 年 8 月， OpenFunction 陸續發布了 4 個版本，在最新的 v0.3.1 版裏 builder 和 serving 部分已經趨於穩定，並且發布了 OpenFunction 自己的事件驅動框架 OpenFunction Events。KubeSphere 社區將持續在 OpenFunction 進行投入，最新路线圖詳見 OpenFunction Roadmap (https://github.com/OpenFunction/OpenFunction/blob/main/docs/roadmap.md)。

目前青雲全象低代碼平臺已經採用 OpenFunction 實現靈活的低代碼平臺插件機制；也有來自 Nebula 的社區用戶用 OpenFunction 實現了語音助手；有社區开發者為 OpenFunction 社區貢獻了 NodeJS 版的 Function Framework 和 Builder。隨着項目逐漸成熟，會有越來越多的社區用戶使用 OpenFunction，我們也期待有更多的社區开發者參與進來。

OpenFunction FaaS 框架設計詳解

OpenFunction 是一個开源的函數即服務（FaaS）框架，和大多數同類產品一樣，旨在讓用戶專注於他們的業務邏輯，而不必擔心底層運行環境和基礎設施。如下圖所示函數生命周期中幾個重要的部分分別是: 函數框架（Functions framework）、函數構建 (Build）、函數服務（Serving）和事件驅動框架（Events Framework），下面我們將分別詳細闡述這幾個重要部分的設計及架構。

OpenFunction：新一代开源函數計算平臺

OpenFunction 函數生命周期示意圖

函數框架（Functions framework）

在 FaaS 框架中，怎樣將一段函數代碼轉換為可運行的應用是一個重要的環節。我們知道函數計算之所以降低了开發成本，正是因為函數框架（Functions framework）代替开發者完成了很多與業務無關的工作。不僅如此，函數框架還為开發者提供了應用運行環境中的上下文和語義明確的函數开發擴展庫（可以理解為 SDK）。

這部分的設計並不復雜，實現的難點在於如何做到上述的語義明確和功能強大。

我們調研了幾種主流的 FaaS 框架（平臺），發現大部分的項目選擇了封裝函數入參的做法，其意圖在於抽象輸入數據的處理方式，即無論請求是什么格式，都可以使用框架提供的函數擴展庫來獲取數據。在這些成熟的案例中，我們發現封裝入參的方式可以使函數在同一個框架內具有很高的靈活性和可擴展性。當函數的數據輸入源變更後，函數本身不需要再做對應的入參適配，從而降低了使用者的开發成本。

從這個角度看，封裝入參方式比不封裝（或自定義）入參方式具備更大的潛力。接受了這個設定之後，我們再來看看函數框架的本質。函數框架本質上可以歸納為以下三個作用：

將用戶提供的函數轉換成可以運行的應用；
將用戶函數封裝為一個標准的訪問地址，提供給輸入端；
將輸出端封裝為一個標准的訪問地址，提供給用戶函數。

如果你了解過 Dapr，你就會發現後面兩點和 Dapr 的工作原理幾乎一致。Dapr 是一種分布式應用運行時，它以一種優雅的方式簡化了开發者與中間件的交互。在 Kubernetes 中，Dapr 可以看作以 Sidecar 的方式實現了函數轉換的功能。那么是否能用 Dapr 作為 FaaS（Serverless）平臺中的 Functions framework？答案是肯定的。OpenFunction 正是基於 Dapr 提供了一套靈活的 functions framework 機制（其中包含了借鑑 Google functions-framework 處理 HTTP 函數的部分）實現了與各種復雜中間件的對接，並搭載兩種運行時——以 Knative serving 為基礎的同步函數運行時，和以 KEDA 結合 Dapr 為基礎的異步函數運行時 OpenFunctionAsync，以期實現對實際生產中大部分應用場景的覆蓋。

為了能讓這個函數框架真正運作起來，往往還需要借助一些函數範圍外的配置，用於定義函數和觸發器、數據源、數據目標之間的關聯關系。我們稱之為函數上下文（OpenFunction Context），理論上它通常具備以下內容：

使用者通用元數據，如用戶 ID、RequestID 等其他上下文信息；
事件源的定義，如名稱、類型、服務地址、數據類型等；
觸發器的定義，如名稱、類型、觸發規則、觸發周期、執行方式等；
函數的定義，如名稱、監聽地址等；
提供自定義的 key-value 參數，如環境變量，以及用於適配不同的 Runtime 等。

OpenFunction：新一代开源函數計算平臺

OpenFunction 組件示意圖

函數構建（Build）

我們通常會用 Build 來指代容器鏡像的打包，但實際上將源代碼打包成鏡像只是構建工作中的一個步驟，开發者還有諸如拉取代碼、代碼預處理、鏡像上傳等工作需要完成。由此我們將 Build 拆分為兩個主要的功能點，即制作容器鏡像與創建構建流水线。在調研了 Cloud Native Buildpacks（CNB）、Tekton、Shipwright 等开源項目後，我們最終設計了 OpenFunction Builder CRD，為用戶提供了一種可以自由選擇 Build 方案的 Build 框架。

Docker 被 Kubernetes 放棄作為默認的容器運行時後，我們在 Kubernetes 中制作容器鏡像還有多種選擇比如 Kaniko、Buildah、BuildKit 以及 Cloud Native Buildpacks（CNB）。其中前三者均依賴 Dockerfile 去制作容器鏡像，而 Cloud Native Buildpacks（CNB）是雲原生領域最新湧現出來的新技術，它不依賴於 Dockerfile，而是能自動檢測要 build 的代碼，並生成符合 OCI 標准的容器鏡像，已經被 Google Cloud、IBM Cloud、Heroku、Pivotal 等公司採用。

OpenFunction 選擇 Cloud Native Buildpacks（CNB）作為容器鏡像制作的默認選擇，陸續也會支持 Kaniko、Buildah、BuildKit 等方式。

Cloud Native Buildpacks（CNB）的核心是 CNB Lifecycle，它負責將由應用源代碼到鏡像的構建步驟抽象出來，形成一套標准規範從而完成對整個過程的編排，並最終產出應用鏡像。這樣一來，开發者就可以將不同邏輯的最小構建單元 buildpack（可以理解為 Dockerfile 中的鏡像分層）按自身的需求組合到一起，生成一個構建器（builder），再交由 CNB 處理鏡像的構建過程。

因為這是一套开源的標准，所以在 OpenFunction Builder 中开發者不但可以選擇 OpenFunction 自身的構建器（builder）來構建鏡像，還可以選擇任何一種符合 CNB Lifecycle 的構建器，如 Google buildpacks、Paketo buildpacks 等，這意味着使用者可以構建任何語言、類型的應用。

Build 的另一個需求——構建流水线，就需要借助 Tekton 這樣優秀的流水线工具作為支持。在最开始的版本中，OpenFunction 毫不猶豫地選擇 Tekton 來拆分構建環節的工作，為之前所談到的構建任務在 Tekton 中創建對應的 Task 及 Pipeline 等。

在對 Shipwright 的調研中我們發現 Shipwright 同樣由 Tekton 驅動，並且 Shipwright 將 Tekton 的設計理念帶入了鏡像構建過程，形成了非常雲原生的鏡像構建框架，同時也支持使用 Kaniko、Buildah、BuildKit 以及 Cloud Native Buildpacks（CNB）構建鏡像，並可以通過指定 BuildStrategy 和 ClusterBuildStrategy 在上述四種鏡像構建方法之間進行切換。

於是我們在 v0.3.0 版本中將原有的 Tekton + Cloud Native Buildpacks 的構建方案切換成了 Shipwright。OpenFunction Builder 從設計上完美解決了如何在沒有 Dockerfile 的情況下制作容器鏡像的問題，並且具備了高度自由、雲原生的構建器（構建方案）選擇機制。無論是使用現成的 Dockerfile 還是僅用一段源代碼，OpenFunction Builder 都可以將其構建為 Open Container Initiative（OCI）標准鏡像並上傳到指定的倉庫中。

函數服務（Serving）

函數服務（Serving）指的是如何運行函數 / 應用，以及賦予函數 / 應用基於事件驅動或流量驅動的自動伸縮的能力（Autoscaling）。我們根據這兩個方面設計了負責運行函數 / 應用的 OpenFunction Serving CRD，並將函數分為同步函數和異步函數。同步函數是指客戶端發出請求後，必須等到函數執行完成並獲取函數運行結果後才返回；異步函數是指客戶端觸發函數後，無需等待函數運行結束即可返回。

在同步函數方面，Knative Serving 具備了非常出色的自動伸縮機制，OpenFunction 支持 Knative Serving 作為同步函數運行時，未來還將基於 KEDA http-add-on 开發 OpenFunctionSync 同步函數運行時。

在異步函數方面，我們結合 KEDA 和 Dapr 开發了 OpenFunctionAsync 異步函數運行時。Dapr 用於解耦函數對各種中間件的訪問；KEDA 提供了 ScaledObject 和 ScaledJob 兩種資源，用於根據實際事件源的監控指標自動進行工作負載副本數量的伸縮，它很好地彌補了 Knative Serving 在非 HTTP 驅動源場景中的不足。同時 KEDA 也在持續开發可以處理 HTTP 請求的 http-add-on 項目，這使得 OpenFunction 在後續的演進中具備了更多的選擇，OpenFunction 未來將集成 KEDA http-Add-on 實現不依賴 Knative Serving 的 OpenFunctionSync 運行時。

我們將上面的工作集合起來，即使用 OpenFunction Serving CRD 來管理控制函數運行的整個生命周期。Serving CRD 包含了使用者對函數類型、輸入、輸出端的定義，以及函數實例自動伸縮的定義。OpenFunction Controller 會按照這些定義，生成相應的 Knative Service、Dapr 和 KEDA 組件，其中 Knative Service 負責同步函數的運行與自動伸縮；KEDA 會負責異步函數的自動伸縮，而 Dapr 會負責異步函數對接外部輸入 / 輸出。展开來講， Dapr 會將外部的輸入通過 OpenFunction Context 傳遞給 Functions framework，進而傳遞給函數；函數執行完成會通過調用 Functions framework 中相應的函數將輸出通過 Dapr 輸出到外部。

事件驅動框架（Events Framework）

OpenFunction：新一代开源函數計算平臺

OpenFunction 事件框架示意圖

除了核心的 FaaS 框架之外，OpenFunction 也設計了事件驅動框架以實現對異步函數的驅動。目前事件框架參考了 Argo Events 與 Knative Eventing 的部分設計，同時避免了引入類似 Knative Eventing 中過於復雜的設計；通過引入 Dapr 解耦了 EventBus 與底層具體 Message Broker 的綁定，進而利用 Dapr 的 binding 和 pubsub 分別對接事件源與 EventBus，以更優雅和可插拔的方式實現了類似 Argo Events 的架構，具備了對事件源的條件判斷、對事件的流轉控制等能力。

本質上來看，事件框架也是一個由事件驅動的工作負載，那么它本身可以是 Serverless 形式的工作負載嗎？可以用 OpenFunction 的異步函數來驅動嗎？其實 OpenFunction 社區已將該設計列入路线圖中，目前也已實現部分組件的自驅動能力。

OpenFunction 的挑战

我們從一些關於 Serverless 的報告中可以看出，Serverless 服務有着可觀的市場潛力，未來五年內也許就會達到千億級的市場規模。然而對於 Serverless 技術本身來說，仍有很多待解決的問題，如冷啓動、安全性、可觀測性等等。

OpenFunction 在發展的過程中非常看中趨勢中的技術，相信它們可以帶來活力與變革能力（也許 Wasm 會成為 OpenFunction 的下一個服務運行時）。將成熟的與新生的技術掰开揉碎和在一起，再穿插進獨立的設計與思考，或許就是 OpenFunction 解決上述問題的後發者優勢，當然也是 OpenFunction 當下面臨的挑战。