我們的加密貨幣AI論文（第二部分）：去中心化運算是王者

進階

12/17/2024, 6:59:03 AM

在我的論文第二部分中，我將深入探討加密貨幣人工智能中最有前途的四個子行業：去中心化計算：訓練、推理和 GPU 市場，數據網路，可驗證的人工智能，生活於鏈上的人工智能代理。這篇文章代表了幾周的深入研究和與加密貨幣人工智能領域的創始人和團隊進行的交流的結晶。它並不旨在對每個行業進行詳盡深入的探討，這是另一天的一個兔子洞。

我還沒有擺脫這一個大的錯失。

它仍然困擾著我，因為這對任何留意的人來說都是最明顯的賭注，然而我沒有投資一分錢。

不，這不是下一個 Solana 殺手，也不是一個帶著狗穿著有趣帽子的備受追捧的幣。

這是……NVIDIA。

NVDA股價年初至今。來源：Google

僅僅一年，NVDA的市值從1萬億美元飆升至3萬億美元。它甚至在同一時期表現優於比特幣。

當然，其中一些是人工智慧的炒作。但其中很大一部分是基於現實的。英偉達報告2024財政年度收入為600億美元，較2023年增長了驚人的126%。這一增長是由大型科技公司在全球人工智慧競賽中競相購買GPU推動的。

那我為什麼會錯過它呢？

兩年來，我一直專注於加密貨幣，並沒有把目光投向外面的人工智慧領域。這是一個很大的錯誤，它仍然在吃我。

但我不會犯同樣的錯第二次。

今天，加密貨幣人工智慧感覺異常相似。我們正處於創新爆炸的邊緣。與19世紀中期的加州淘金熱有著難以忽視的相似之處——產業和城市一夜之間湧現，基礎設施以驚人的速度發展，那些敢於跨越的人賺得了財富。

就像 NVIDIA 在早期一樣，Crypto AI 在事後看來是顯而易見的。

在我的論文第一部分我解釋了為什麼Crypto AI是當今最令人興奮的投資和建設者的機會。

這是一個快速回顧:

許多人仍然把它當作“虛擬貨幣”來忽略。
加密貨幣人工智能正處於早期循環，很有可能在高潮來臨之前還有1-2年的時間。
在這個領域，至少有2300億美元的增長機會。

在其核心，加密貨幣人工智慧是在人工智慧之上添加了加密貨幣基礎架構。這意味著它更有可能跟踪人工智慧的指數增長軌跡，而不是更廣泛的加密貨幣市場。因此，為了保持領先，您必須關注Arxiv上的最新人工智慧研究，並與相信自己正在打造下一個大事件的創始人交流。

在我的論文第二部分中，我將深入探討加密貨幣人工智能中最有前景的四個子行業:

去中心化計算：培訓、推論及GPU市場
數據網絡
可驗證的人工智慧
生活在鏈上的AI代理人

這篇文章代表了數周的深入研究和與加密貨幣人工智能領域的創始人和團隊的交流的結果。它不是設計成對每個領域進行全面深入的研究，那是另一天的兔子洞。

相反，可以把它看作是一個高層次的路線圖，旨在激發好奇心，提高研究能力，並指導投資思維。

描繪出景觀

我將分散式人工智慧堆疊想像為分層生態系統：它始於一端的分散式計算和開放數據網路，這些為分散式人工智慧模型訓練提供動力。

每個推論都會使用加密學、加密經濟激勵和評估網絡的組合進行驗證，無論是輸入還是輸出。這些經過驗證的輸出流入可以在鏈上自主運行的AI代理商，以及用戶實際可以信任的消費者和企業AI應用程式。

協調網絡將所有這一切緊密聯繫在一起，實現生態系統內的無縫通信和協作。

在這個願景中，任何在人工智慧領域建構的人都可以根據他們的特定需求，利用這個堆疊中的一個或多個層。無論是利用去中心化計算進行模型訓練，還是使用評估網絡來確保高質量的輸出，這個堆疊提供了一系列的選擇。

由於區塊鏈固有的可組合性，我相信我們自然而然地朝向模塊化的未來發展。每一層都變得高度專業化，協議都優化為不同功能而非一體化的整合方案。

來源: topology.vc

去年1-3年間,在去中心化人工智能領域的各個層面上,新創公司如雨後春筍般湧現。顯而易見：我們還處在早期階段。

我見過的最全面和最新的加密貨幣人工智能初創企業地圖是由Casey和她的團隊維護的topology.vc這對於任何追蹤這個領域的人來說是一個無價的資源。

當我深入研究加密貨幣 AI 子領域時，我不斷問自己：這裡的機會有多大？我對小賭注不感興趣，我在尋找能夠擴大到數千億的市場。

1. 市場規模

讓我們從市場規模開始。在評估一個子行業時，我會問自己：它是在創造全新的市場還是破壞現有的市場？

以去中心化的計算為例。這是一個顛覆性的領域，其潛力可以通過觀察價值約為的成熟雲計算市場來估算。今天6800億美元並預計在2032年達到2.5兆美元。

沒有先例的新市場，例如AI代理，更難量化。沒有歷史數據，對它們進行大小評估涉及對它們解決的問題進行混合的猜測和直覺檢查。陷阱是有時候看起來像新市場的東西實際上只是在尋找問題的解決方案。

2. 時間

時機是一切。科技傾向於隨著時間的推移而改善並變得更便宜，但進步的步伐有所不同。

在特定子行業中，技術有多成熟？它是否已經準備好擴展，還是仍處於研究階段，實際應用還有幾年遠？時機決定了一個行業是否值得立即關注，還是應該被歸類為“觀望”類別。

以完全同態加密（FHE）為例：潛力不容忽視，但如今它仍然對於廣泛使用來說太慢了。我們很可能在幾年內才能看到它達到主流的可行性。通過首先專注於更接近擴展的領域，我可以將我的時間和精力投入到動力和機會正在建立的地方。

如果我要在尺寸與時間圖上對這些類別進行映射，它看起來會像這樣。請記住，這更像是一個概念性草圖，而不是一個嚴格的指南。有很多細微之處，例如，在可驗證推斷中，不同的方法如 zkML 和 opML 在使用上處於不同的準備就緒水平。

話雖如此，我相信人工智能的規模將會如此龐大，甚至今天看起來“小眾”的領域也可能演變成一個重要的市場。

值得一提的是，技術進步並不總是一帆風順，它常常是跨越式的。當新的突破出現時，我的時間觀和市場規模觀點將會改變。

有了這個框架，讓我們來分解每個子行業。

第一區塊：去中心化計算

TL;dr

分散式計算是分散式人工智慧的支柱。
GPU市場、去中心化訓練和去中心化推理深度相互關聯並共同繁榮。
供應端通常來自中小型數據中心和消費級GPU。
需求方很小但在增長。今天它來自價格敏感、延遲不敏感的用戶和較小的AI初創企業。
當今Web3 GPU市場面臨的最大挑戰實際上是讓它們運作。
在分散式網絡上協調GPU需要先進的工程技術和設計良好、堅固的網絡架構。

1.1. GPU市場 / 計算網路

幾個加密貨幣 AI 團隊正在定位自己，以利用相對於需求的 GPU 短缺，通過構建分散式網絡來利用全球潛在計算能力池。

GPU市場的核心價值主張有三個方面:

您可以以“比AWS便宜多達90％的價格”使用計算資源，這是通過（1）去除中間商和（2）開放供應端實現的。基本上，這些市場使您能夠利用全球最低的邊際計算成本。
更大的靈活性：無定期合約、無需KYC認證、無需等待時間。
抵抗審查

為了應對市場的供應端問題，這些市場從以下來源獲得計算資源：

來自中小型數據中心的企業級GPU（如A100s、H100s）正在努力尋找需求，因為它們無法自行應對，或者比特幣礦工正在尋求多元化的解決方案。我還知道一些團隊正在利用大型政府資金支持的基礎設施項目，這些項目中的數據中心是作為技術增長計劃的一部分而建立的。這些供應商通常有激勵措施來保持他們的GPU在網絡上運行，這有助於他們彌補GPU的攤銷成本。
數百萬的遊戲玩家和家用戶連接他們的計算機到網絡，以獲得代幣激勵，提供了消費級GPU。

另一方面，去中心化計算的需求來源於：

對價格敏感、延遲不敏感的用戶。這一部分的重點是在速度之上優先考慮價格。例如，探索新領域的研究人員、獨立的人工智能開發人員和其他有成本意識的用戶，他們不需要即時處理。由於預算限制，他們中的許多人可能會與傳統的超級計算機（如AWS或Azure）掙扎。由於他們在人口中相當分散，因此有針對性的市場營銷對於吸引這一群體上市至關重要。
較小的人工智慧初創公司在不與主要雲服務提供商簽訂長期合同的情況下，面臨著確保靈活、可擴展的計算資源的挑戰。業務發展對吸引這一部分人至關重要，因為他們積極尋找替代方案，以避免過度依賴超大規模雲服務商。
建築去中心化人工智能產品的加密貨幣AI初創公司若沒有自己的計算資源，將需要利用這些網絡的資源。
雲遊戲：雖然不是直接由AI驅動，但雲遊戲是對GPU資源需求不斷增加的來源。

要記住的關鍵是：開發者總是優先考慮成本和可靠性。

真正的挑戰：需求而非供應

這個領域的新創公司經常吹噓其GPU供應網絡的規模，將其視為成功的標誌。但這是具有誤導性的——最多也只能算是虛榮指標。

真正的限制不是供應，而是需求。要追踪的關鍵指標不是可用GPU數量，而是利用率和實際出租的GPU數量。

代幣在啟動供應端方面表現出色，可以創造所需的激勵措施，以快速擴大規模。然而，它們本質上並不能解決需求問題。真正的考驗是將產品推向足夠好的狀態，以實現潛在需求。

Haseeb Qureshi（Dragonfly）最好的表述：

實際使計算網絡工作

與普遍觀念相反，當今Web3分佈式GPU市場面臨的最大障礙只是讓它們正常運作。

這不是一個簡單的問題。

在分散網絡上組織GPU是複雜的，面臨著一系列挑戰，包括資源分配、動態工作負載調整、節點和GPU之間的負載平衡、延遲管理、數據傳輸、容錯能力以及處理分散在不同地理位置的各種硬件。我可以談個不停。

實現這一目標需要嚴謹的工程技術和堅固、適當設計的網絡架構。

為了正確看待它，請考慮Google的Kubernetes。它被廣泛認為是容器編排的黃金標準，可在分散式環境中自動執行負載平衡和擴展等流程，這與分散式 GPU 網路面臨的挑戰非常相似。Kubernetes 本身是建立在 Google 十多年的經驗之上的，即便如此，它也需要多年的不懈反覆運算才能做到正確。

一些已經上線的 GPU 計算市場可以處理小規模的工作量，但一旦嘗試擴展，問題就開始浮出水面。我懷疑這是因為它們建立在設計不良的架構基礎上。

分散式計算網絡面臨的另一個挑戰/機會是確保可信度:驗證每個節點是否實際提供其聲稱的計算能力。目前，這取決於網絡的聲譽，在某些情況下，計算提供商的排名是根據聲譽得分進行的。區塊鏈似乎是無需信任的驗證系統的天然適合者。像Gate.io這樣的初創企業，Gensyn和Spheron正在推動採用無需信任的方法來解決此問題。

今天，許多web3團隊仍在應對這些挑戰，這意味著機會是敞開的。

分散式計算市場規模

去中心化計算網絡的市場有多大？

今天，它可能只是6800億至2.5萬億美元的雲計算行業的一小部分。然而，儘管對用戶來說增加了摩擦，只要成本低於傳統供應商的成本，就始終會存在一些需求。

我相信在短期到中期內，成本將因代幣補貼和用戶供應的解鎖而保持較低（例如，如果我可以出租我的遊戲筆記本電腦賺取額外的現金，無論每月是20美元還是50美元，我都很樂意）。

但當去中心化計算網絡的真正增長潛力和其TAM的真正擴展來臨時，情況將會有所不同。

AI 模型的去中心化訓練變得更加實用
推理需求激增，現有數據中心無法滿足。這種情況已經開始出現。黃仁勳表示，推理需求將會增加“十億倍”.
適當的服務水平協議（SLAs）已經提供，解決了企業採用的一個關鍵障礙。目前，去中心化計算是在盡力而為的基礎上運作，讓用戶面臨著不同水平的服務質量（例如，% 的正常運行時間）。有了SLAs，這些網絡可以提供標準化的可靠性和性能指標，使去中心化計算成為傳統雲計算服務提供商的一個可行的替代方案。

去中心化、無需許可的計算是去中心化AI生態系統的基礎層，也是基礎設施。

儘管矽（即 GPU）供應鏈不斷擴大，我相信我們只是處於人類智慧時代的黎明。對計算的需求將是無法滿足的。

請注意可能會觸發所有工作中的GPU市場的重大重新評估的轉折點。很可能很快就會到來。

其他注意事項：

純粹的GPU市場競爭激烈，分散平台之間也存在競爭rise of web2 AI neoclouds就像Vast.ai和Lambda一样。
小節點（例如 4 x H100）由於其有限的用途並不太受歡迎，但是要找到任何賣大型集群的人都很幸運——因為它們仍然非常受歡迎。
一個主要的玩家是否會將所有的計算供應聚合到分散式協議中，還是會分散在多個市場之間？我傾向於前者，而且結果呈現出冪律分佈，因為整合通常能提高基礎設施的效率。但這需要時間來實現，同時，分散和混亂仍然存在。
開發人員希望專注於構建應用程序，而不是處理部署和配置。市場必須抽象出這些複雜性，使訪問計算盡可能無摩擦。

1.2. 去中心化培訓

TL;dr

如果按比例定律成立，未來在單一資料中心訓練下一代前沿人工智能模型將變得不可能，從物理上來說。
訓練AI模型需要大量數據在GPU之間傳輸。分佈式GPU之間的低數據傳輸（互聯）速度通常是最大的障礙。
研究人員同時探索多種方法，並且正在發生突破性的進展（例如開放式DiLoCo，DisTrO）。這些進步將會堆疊和複利，加快空間的進展。
去中心化培訓的未來可能在於針對特定應用而非前沿AGI模型設計的更小型、專門化模型。
推論需求隨著向開放AI的o1等模型的轉變而急劇增加，為去中心化推論網絡創造了機會。

想像這樣一個場景：一個巨大而具有世界改變能力的AI模型，不是由神秘的精英實驗室開發，而是由數百萬普通人共同創造。遊戲玩家，他們的GPU通常用於遊戲《使命召喚》的電影級爆炸效果，現在將他們的硬體貢獻給一個更宏大的目標-一個開放源碼、集體擁有的AI模型，沒有中央門禁。

在這個未來中，基礎級模型不僅僅是頂尖人工智能實驗室的領域。

但是讓我們把這個願景落實到今天的現實中。現在，大部分的重量級 AI 訓練仍然停留在集中式數據中心，這可能會是一段時間的常態。

像OpenAI這樣的公司正在擴大其大型集群。埃隆·馬斯克最近宣布xAI即將完成一個擁有相當於20萬台H100 GPU的數據中心。

但這不僅僅是關於原始GPU數量。模型FLOPS利用率（MFU）——一個在中引入的指標Google的PaLM論文在2022年，追踪GPU的最大容量使用效率。令人惊讶的是，MFU通常在35-40%左右。

為什麼這麼低？雖然GPU的性能隨著摩爾定律多年來飛速增長，但網絡、內存和存儲的改進明顯滯後，造成了瓶頸。因此，GPU經常處於閒置狀態，等待數據。

AI訓練因一個詞而保持高度集中化，這個詞就是“效率”。

訓練大型模型依賴技術如下:

• 數據並行：將數據集分散到多個GPU上，並行執行操作，加快訓練過程。

• 模型并行化：将模型的部分分布在多个GPU上，以绕过内存限制。

這些方法需要GPU不斷交換數據，使互連速度——在網絡中傳輸數據的速率——絕對必要。

當前沿人工智慧模型訓練成本高達10億美元時，每一點效率提升都至關重要。

通過其高速互連，集中式數據中心在訓練期間實現了快速數據傳輸，從而創造了去中心化設置無法匹配的可觀成本節省。

克服緩慢的互連速度

如果您和在人工智慧領域工作的人交談，許多人會告訴您，去中心化的訓練根本行不通。

在去中心化的設置中，GPU集群並非物理上共同位置，因此它們之間的數據傳輸速度更慢，成為瓶頸。訓練需要GPU在每一步同步和交換數據。它們相距越遠，延遲就越高。較高的延遲意味著較慢的訓練速度和較高的成本。

在集中式數據中心可能需要幾天的時間，在去中心化方法下，成本更高，可能需要兩周的時間。這根本不可行。

但這將會改變。

好消息是，對分佈式訓練的研究出現了大規模的興趣激增。研究人員正在同時探索多種方法，這一點可以從大量研究和發表的論文中看出。這些進展將互相積累，加速該領域的進展。

這也涉及在生產環境中進行測試，看看我們可以推進界限到哪裡。

一些去中心化的培训技术已经可以在缓慢的互连环境中处理较小的模型。现在，前沿研究正在推动将这些方法扩展到越来越大的模型。

例如，Prime Intellect的開啓DiCoLo論文展示了一种实用的方法，即在同步之前，GPU的“岛屿”执行500个本地步骤，将带宽要求减少了多达500倍。最初是Google DeepMind对较小模型的研究，现在已经扩展到了今年11月训练一个100亿参数的模型，并在今天完全开源。
Nous 研究通過其DisTrO框架，以優化器提供高達驚人的10,000倍的減少，從而在訓練1.2B參數模型時，減少了GPU間通信需求。
而且動力不斷增強。在12月份，Nous宣布了一個損失曲線（模型錯誤隨時間減少的方式）和收斂速率（模型性能穩定的速度）與集中式訓練設置通常看到的結果相匹配或超過的150億參數模型的預訓練。是的，比集中式訓練更好。
SWARM平行處理和DTFMHE是用於在不同類型的設備上培訓非常大的AI模型的其他方法，即使這些設備的速度和連接也變化不定。

另一个挑战是管理各种不同的GPU硬件，包括在分散式网络中常见的内存有限的消费级GPU。诸如模型并行（将模型层分割到不同设备上）的技术可以帮助实现这一目标。

去中心化培訓的未來

目前的去中心化培訓方法仍然在模型大小上達到前沿之下（據報GPT-4接近兆參數，比Prime Intellect的10B模型大100倍）。要真正實現規模化，我們需要在模型架構、更好的網絡基礎設施和智能的任務分配方面取得突破。

而且我們可以偢大。想像一個世界，在那裡分散式培訓聚集了比最大的中央數據中心所能召集的GPU計算能力還要多的力量。

Pluralis 研究（一個分散式培訓的敏銳團隊，值得密切關注）認為這不僅是可能的，而且是不可避免的。中心化的數據中心受到像空間和…這樣的物理限制的束縛。電源供應的可用性當去中心化網絡可以利用一個有效無限的全球資源池時，

即使 NVIDIA 的黃仁勳也承認異步分散式訓練可以释放AI扩展的真正潜力。分布式训练网络也具有更高的容错能力。

因此，在一個潛在的未來中，全球最強大的人工智能模型將以分散式方式進行訓練。

這是一個令人興奮的前景，但我還沒完全被說服。我們需要更強有力的證據，證明分散式訓練最大模型在技術和經濟上都是可行的。

這是我看到巨大潛力的地方：去中心化訓練的甜蜜點可能在於更小、更專業、針對特定用例設計的開源模型，而不是與超大型、以AGI為驅動的前沿模型競爭。某些結構，特別是非Transformer模型，已經證明是去中心化設置的自然適應。

而這個謎題還有另一塊拼圖：代幣。一旦分散式培訓在大規模上變得可行，代幣可能在激勵和獎勵貢獻者方面發揮關鍵作用，有效地推動這些網絡的啟動。

這個願景的道路漫長，但進展令人深感鼓舞。去中心化培訓的進步將使每個人受益，即使是大型科技公司和頂尖人工智能研究實驗室，因為未來模型的規模將超過單個數據中心的容量。

未來是分散的。當一項技術具有如此廣泛的潛力時，歷史表明它總是比任何人預期的都進步得更快，更好。

1.3. 去中心化推理

目前，AI中的大部分計算力都被注入到訓練龐大的模型中。頂尖的AI實驗室正在進行一場競爭，旨在開發最好的基礎模型，最終實現通用人工智能（AGI）的目標。

但這是我的看法：這種對訓練的強烈計算關注將在未來幾年轉向推理。隨著人工智能在我們日常使用的應用程序中越來越多地嵌入—從醫療保健到娛樂—支持推理所需的計算資源將是驚人的。

而且這不僅僅是推測。推理時間計算比例是人工智能中最新的熱門詞。 OpenAI最近發布了其最新模型o1（代號：Strawberry）的預覽/迷你版本，而最大的變化呢？它會花時間先問自己應該採取什麼步驟來回答問題，然後再進行每個步驟。

這個模型是為了更複雜、計劃性更強的任務設計的——比如解決填字遊戲——並解決需要更深入推理的問題。您會注意到它的速度較慢，需要更多時間來生成響應，但結果更加周到和細緻。它也更昂貴運行（GPT-4 的成本是 GPT-4 的 25 倍)

焦點轉移是明確的：AI性能的下一個飛躍不僅來自於訓練更大的模型，還來自於推理過程中計算使用的規模化。

如果您想閱讀更多，有幾項研究文件示範:

通過重複採樣來擴展推理計算對各種任務都有很大的改進。
推理也有指數級的擴展法則。

一旦強大的模型被訓練，它們的推理任務——模型執行任務——可以被卸載到去中心化的計算網絡上。這是非常有道理的，因為：

推論比訓練要少得多的資源。一旦訓練完成，模型可以使用量化、修剪或蒸餾等技術進行壓縮和優化。它們甚至可以使用張量或管道並行性分割，以在日常消費者設備上運行。您不需要高端GPU來驅動推論。
這已經在發生了。Exo 實驗室已經找出如何在像MacBook和Mac Mini這樣的消費級硬體上運行具有450B參數的Llama3模型。在許多設備上分發推理可以有效且具有成本效益地處理大規模工作量。
提供更好的用戶體驗。將計算運行更靠近用戶可以減少延遲，這對於遊戲、AR 或自駕車等實時應用至關重要。每一毫秒都很重要。

將分散式推理視為AI的CDN（內容傳遞網絡），就像通過連接到附近的服務器快速提供網站一樣，分散式推理利用本地計算能力以創紀錄的時間提供AI回應。通過擁抱分散式推理，AI應用程序變得更加高效，反應更快，可靠性更高。

趨勢明顯。蘋果的新M4 Pro芯片與NVIDIA的競爭對手RTX 3070 Ti——一个曾经只属于硬核玩家的GPU。我们已经拥有的硬件越来越能够处理高级AI工作负载。

加密貨幣的附加價值

為了使去中心化推理網絡取得成功，參與者必須具有引人入勝的經濟激勵措施。網絡中的節點需要獲得對其計算貢獻的補償。系統必須確保獎勵的公平和高效分配。地理多樣性至關重要，可減少推理任務的延遲，提高容錯能力。

而建立去中心化網絡的最佳方法？加密貨幣。

代幣提供了一個強大的機制，以協調參與者的利益，確保每個人都在為同一個目標而努力：擴展網絡並推高代幣的價值。

代幣還能大幅促進網絡增長。它們有助於解決大多數網絡中的經典雞蛋問題，通過獎勵早期採用者並從第一天開始推動參與。

比特幣和以太坊的成功證明了這一點-它們已經聚集了全球最大的計算能力池。

去中心化的推理網絡是下一步。通過地理多樣性，它們減少延遲，提高容錯能力，並將人工智能帶到用戶更近。而且通過加密貨幣的激勵，它們將比傳統網絡更快速、更好地擴展。

免責聲明：

本文轉載自 [[](https://www.chainofthought.xyz/p/our-crypto-ai-thesis-part-ii-decentralised-compute)[Chain of Thought](https://www.chainofthought.xyz/)\]. 所有版權屬於原作者 [騰岩].如果對此轉載有異議，請聯繫gate 學習團隊會儘快處理。
責任聲明:本文所表達的觀點和意見僅為作者個人觀點，不構成任何投資建議。
文章的翻譯工作由gate Learn團隊完成。除非另有說明，禁止複製、分發或抄襲翻譯好的文章。