Utility算力調度中心即將上线. 引領分布式計算新篇章

2023-12-25 23:12:04

近日，由UtilityNet團隊主辦的AMA（Ask Me Anything）活動上，分享了UtilityNet算力調度中心——AI容器雲的相關信息並邀請全球开發者通過郵箱申請試用。此次AMA分享嘉賓包括聯合創始人Vincent、亞洲开源團隊技術負責人Terrill以及utlab CTO Tom。

UtilityNet算力調度中心作為項目的核心組成部分，將實現對大規模計算資源的高效調度和管理。該調度中心採用先進的機器學習和預測算法，結合歷史任務數據、任務類型和系統負載，以動態方式調整資源分配。同時，調度中心具備自動化故障檢測和處理機制，確保系統在面對硬件故障時能夠迅速響應並採取相應措施。

圖1.容器雲調度頁面

為了保障用戶安全和隱私，UtilityNet採用虛擬化技術實現資源隔離，確保不同用戶或組織的計算環境相互獨立。項目團隊還計劃在未來引入量子計算、邊緣計算等創新技術，以滿足未來計算需求的多樣性。同時，UtilityNet將深化與邊緣計算和物聯網技術的整合，提供更分布式和本地化的計算資源。

圖2.容器雲用戶端頁面

隨着UtilityNet算力調度中心的上线，有望為人工智能、大數據分析、科學研究等領域帶來更高效、安全、可靠的分布式計算環境。項目團隊表示，他們將繼續優化算法和技術，提高資源調度和任務執行的效率，為構建更加豐富的UtilityNet應用生態系統而努力。

圖3.AI模型訓練頁面

AMA活動原文（同聲翻譯版本）

（主持人）

大家好！歡迎來到由UtilityNet主辦的AMA 交流會，本期主題是【UtilityNet 算力調度中心即將开放】，我是Utility Net首席品牌官兼主持人Lidi，今天很榮幸邀請到UtilityNet的聯合創始人 vincent、UtilityNet亞洲开源團隊tech lead Terrill以及 utlab CTO Tom這三位重量級嘉賓，作客我們的UtilityNet中文社區，來為UtilityNet 算力調度中心做一些介紹以及未來發展做一個詳細的講解。

（嘉賓Vincent）

大家好，非常感謝大家的邀請，我是vincent，是UtilityNet的聯合創始人。

（嘉賓Terrill）

大家好，我是Terrill，是UtilityNet亞洲开源團隊 tech lead。

（嘉賓Tom）

我是utlab 的CTO Tom，很高興今晚能來到這裏。

（主持人）

那就讓我們正式开始吧，在進入正題之前，vincent您能簡單的給我們介紹一下UtilityNet 嗎？

（嘉賓Vincent）

當然可以，如今人工智能AI發展迅速也備受世人關注，但無論是簡單的數據計算、圖片生成，還是復雜的函數探索、智能訓練應用，都離不开AI算力。世界上目前的AI算力處於匱乏狀態，AI計算需求大，而能提供AI算力的設備少，能提供AI算力的設備損耗多，要完全承載目前人工智能發展的需求，我們需要目前100萬倍的AI算力，而UtilityNet是為了改變這是現狀而生的。

UtilityNet是一項全新聚焦於異構並行計算技術的區塊鏈網路，將點對點支付和針對並行計算的去中心化可驗證共識流程結合，為應用級Layer-1區塊鏈網路帶來革命性變革，是一種基於指令籤名的可驗證計算網絡。它能解決目前區塊鏈技術中工具鏈脫節、集群預投入昂貴、數據隱私無法保證、機時使用成本高昂等問題。

（主持人）

那請問UtilityNet是打算怎么解決AI算力的問題呢？

（嘉賓Terrill）

現在全球各地大多數人工智能公司都在搞大模型，這在我看來注定九死一生，風險太高，但未來不管哪個大模型走向成功，最終統一全行業甚至壟斷全球用戶，它都注定需要龐大的算力基礎來建立大模型，所以，算力基建和算力供應才是真正的長期穩健投資，但這需要時間去建設，而不是投機，就像無論手機造的多好怎么壟斷市場，都需要信號基站去發射信號，UtilityNet做的就是信號基站的事情。

我們建設的第一步，就是擴大群體共識，要知道基於UtilityNet的技術特點，算力貢獻者可以通過異構並行計算晶片（如TPU）來貢獻多種算力（INT8 FP16 FP32）以獲得Token獎勵，我們認為這些計算能力是AI時代的模型訓練基石，礦工們將算力以合理的價格租給需要的客戶。通過Token激勵的方式能大大降低AI研發和部署需求的雲算力使用成本，也能讓越來越多的共識者自愿提供更多的算力給UtilityNet。在這樣的良性循環下，UtilityNet將能成為全球最大的應用型分布式計算網絡，能幫助人們以更低的成本獲取更多更彈性更穩定的計算資源，讓人們更高效地提升生產力。

（主持人）

感謝Terrill 的介紹，我們現在都明白了Utility Net的一些基本情況，也明白了它想要解決的問題以及未來的目標，那么現在能否請Terrill 再給我們說一些UtilityNet的技術特點。

（嘉賓Terrill）

OK，拿一個比較有特點的計算方式來說吧，UtilityNet使用的是不同於傳統區塊鏈上的計算方式，它採用的是芯片刻錄私鑰採取分布式計算的特點去進行區塊鏈業內統稱的“挖礦”行為，這不同於區塊鏈上的計算，分布式計算的計算任務被分發到多個計算節點上，有助於提高計算效率和系統的可伸縮性；同時每個節點可以獨立執行計算任務不需要智能合約協調，數據可以分散存儲與分散執行，能夠最大化的提供AI算力。

UtilityNet通過分布式算力來進行“挖礦”，即通過解決復雜的數學問題來添加新的區塊，也確保了去中心化的網絡的安全性和可信度，分布式算力為區塊鏈系統提供了一種安全、去中心化、抵御攻擊的手段，使得Utility Net在不依賴單一中心控制的同時，能夠達成全網的一致共識。這為構建安全可信的去中心化應用提供了基礎。

（主持人）

這樣聽來，UtilityNet的未來價值完全超乎了我們的想象，謝謝Terrill 為我們進行詳細的介紹，我相信我們已經有許多小夥伴想要加入到UtilityNet中來了，接下來我們要進入今天的重頭戲了，UtilityNet 算力調度中心即將开放，可以請Tom給我們說一下嗎？

（嘉賓Tom）

沒問題，UtilityNet算力調度中心是UtilityNet項目的核心組成部分，旨在實現對大規模計算資源的高效調度和管理，該調度中心採用先進的算法和技術，確保資源在整個UtilityNet AI 容器雲中得到最佳利用，以滿足不同用戶的任務需求。

簡單說，UtilityNet算力調度中心就是全球分散的數據處理能力市場，結合區塊鏈技術，通過撮合租賃，支持未來的分散應用，使它們在具有微服務的架構中具有類似性，能夠進行水平擴展，為個人和企業提供以相對較低的費用使用大量分散AI算力資源的機會，也使提供AI算力資源的個人所有者能夠通過出租來獲得穩定的收入。

（主持人）

明白了，這邊想問一下您，UtilityNet的研發進度目前到了什么階段，可以稍微給大家透露一下嗎？

（嘉賓Vincent）

這樣我就稍微也給大家說一下UtilityNet吧，我們是要做一種基於指令籤名的可驗證計算網絡，這是在算力領域的一次巨大躍進，從研發以來，光技術架構的預研階段、原型設計階段、測試階段UtilityNet就已經耗資800余萬美元，把架構做的越完整，才能有足夠的基礎去進行生態發展，我們首先要確保的，就算穩定，讓生態中每一個角色都能各取所需，各司其職。

而UtilityNet已經部署了不少時間，成功用TPU芯片將點對點支付和針對並行計算的可驗證去中心化計算結合，為區塊鏈網絡生態和計算市場帶來了一場革命性的變革。目前UtilityNet正在通過引入執行虛擬機、Kubernetes等跨域數據調度技術，為分布式計算提供更強大的軟硬件支持，讓UtilityNet能夠承載更多的數據量。

（主持人）

真想不到UtilityNet光前期研發，就已經花了近千萬美元，那請問UtilityNet算力調度中心是怎么分配任務的呢？

（嘉賓Tom）

Utility Net算力調度中心採用先進的機器學習和預測算法，結合歷史任務數據、任務類型和系統負載，以動態方式調整資源分配。這種智能決策基於任務的復雜性、執行時間預測、資源需求和當前系統狀態等多個因素，以實現高效的資源利用。

而任務分配則是通過智能的資源分配算法，一方面實施並行任務調度，通過智能並行化算法將相互獨立的任務同時執行，提高整體計算速度；另一方面也將任務協同執行，通過共享資源和數據，減少任務之間的衝突，提高執行效率。對大規模任務的分解和調度，將大型任務劃分為可管理的子任務，然後合理安排這些子任務的執行順序，以最大程度地利用集群中的資源。根據任務的需求和優先級，動態地將計算資源分配給相應的任務，確保了資源的高效利用和任務能夠及時完成的同時。

（主持人）

這真的非常了不起，這聽起來算力調度中心自身也是需要算力來執行這些動態資源的調整是嗎？

（嘉賓Tom）

UtilityNet算力調度中心通過實時監控系統中各個節點的資源利用情況，採用彈性伸縮策略。這包括根據工作負載的變化調整資源規模，實現資源的彈性擴展或收縮。同時，針對節點硬件故障，中心具備自動化故障檢測和處理機制，它能夠快速響應硬件故障或其他異常情況，以確保系統在面對硬件故障時能夠迅速響應並採取相應的措施，例如任務遷移或自動重啓，保證供應雙方的算力與Token收益不受影響。

（主持人）

好的，但UtilityNet算力調度中心其實是屬於分布式算力，UtilityNet的用戶管理和權限控制是如何實現的，能否維護系統的安全性和用戶隱私？

（嘉賓Tom）

用戶的安全與隱私是重中之重，Utilit Net算力調度中心也一直致力於維護系統的安全性和用戶隱私，在UtilityNet中，每個用戶都有唯一的身份標識，用戶提供算力的設備中，芯片都會使用加密技術將私鑰燒錄到芯片中以實現數據加密和籤名，從而確保數據安全和產權保護，屬於物理硬件級別的安全性方案。用戶的身份驗證涉及到嚴格的多因素認證，授權基於用戶角色和策略，確保每個用戶只能訪問其被授權的資源。

同時UtilityNet系統採用虛擬化技術實現資源的隔離，確保不同用戶或組織的計算環境互相獨立。這有效地防止了橫向攻擊，提高了系統整體的安全性。

（主持人）

好的，UtilityNet的技術架構是相當完整與穩固的，那么我們都知道任務需求是算力調度中至關重要的一環，請問一下您之前提到的UtilityNet AI容器雲是如何運作使用的呢？

（嘉賓Tom）

我們為了增強Utility AI容器雲的使用體驗，Utility AI容器雲的使用界面設計了礦工管理端與芯片用戶端，區分不同的用戶與操作邏輯，使得Utility AI容器雲平臺中不同類型的用戶可以出色地協調配合。

這么說吧，資源池是用於隔離集群的服務器資源。橫向縱向看，資源都是以服務器節點為粒度。服務器節點面向管理員，資源規格面向用戶。如果要更好地將資源與用戶解耦與隔離，則需要一個資源池的概念，去將資源邏輯地重新分割，Utility AI容器雲以服務器節點為粒度，將資源以服務器節點的形式整體劃分到不同的資源池，不同的資源池可以綁定到用戶群組。以這樣的形式，可以很好地將集群的資源隔離，不同的資源可分配給不同的用戶群。

（主持人）

明白了，好了，那今天的AMA活動已經到了尾聲，我相信大家對UtilityNet算力調度中心已經非常期待了，它也即將迎來上线，現在請 vincent再給大家總結一下，我想以UtilityNet算力調度中心的作用與意義作為今天AMA的收尾應該是比較不錯的。

（嘉賓Vincent）

好的，我先總結一下吧，總體而言，算力調度中心在UtilityNet中的實際作用和意義在於通過先進的技術手段，實現了計算資源的高效利用、彈性伸縮、成本效益、安全可靠、實時監控等多個方面的優勢，為用戶提供了一個可信賴、高效的分布式計算環境。我相信這對於推動人工智能、大數據分析、科學研究等領域的發展具有重要意義。

在未來，UtilityNet算力調度中心也將有一系列的計劃，目前已經有一些大致开發方向與定位，可以先給大家透露一部分。首先我們不斷優化算法和技術，提高資源調度和任務執行的效率的同時，也將引入創新技術，如量子計算、邊緣計算等，以滿足未來計算需求的多樣性；其次我們將引入可持續性計算理念，優化能源利用效率，降低計算過程的碳足跡，探索利用可再生能源和綠色數據中心技術，推動綠色計算的發展；再者會深化與邊緣計算和物聯網技術的整合，提供更為分布式和本地化的計算資源，也支持物聯網設備通過算力調度中心實現智能計算和協同決策；最後會提供开放式API，鼓勵开發者和企業接入算力調度中心，構建更加豐富的UtilityNet應用生態系統；支持开發者社區，鼓勵創新性應用的开發和共享。

（主持人）

感謝三位的耐心解答，非常榮幸能對UtilityNet 有如此深入的了解。

（嘉賓Vincent）

謝謝大家，我也很榮幸來到這裏給大家做一個分享。

（嘉賓Terrill）

感謝大家對UtilityNet的大力支持，UtilityNet一定不會辜負大家的期待！

（嘉賓Tom）

謝謝大家，我堅信我們能互相成就未來。

（主持人）

好的，那么今天的AMA就到此結束，感謝大家，我們有緣再見！