Variant 投資合夥人：開源 AI 的困境與突破，為什麼加密技術是最後一塊拼圖？

作者：Daniel Barabander 編譯：深潮 TechFlow 簡要總結 當前基礎 AI 的開發由少數幾家科技公司主導，呈現出封閉性和缺乏競爭的特點。 開源軟件開發雖然是一個潛在的解決方案，但基礎 AI 無法像傳統開源項目（例如 Linux）那樣運作，因為它面臨一個“資源問題”：開源貢獻者不僅需要付出時間，還需要承擔超出個人能力範圍的計算和數據成本。 加密技術通過激勵資源提供者參與基礎開源 AI 項目，有望解決這一資源問題。 將開源 AI 與加密技術結合，可以支持更大規模的模型開發，並推動更多創新，從而創造出更先進的 AI 系統。 引言 根據皮尤研究中心 (Pew Research Center) 在 2024 年進行的一項調查，64% 的美國人認為社交媒體對國家的影響弊大於利；78% 的人表示社交媒體公司在政治中擁有過大的權力和影響力；83% 的人認為這些平臺很可能會故意審查它們不同意的政治觀點。對社交媒體的不滿幾乎成為美國社會少有的共識之一。 回顧過去 20 年社交媒體發展的歷程，這種局面似乎早已註定。故事並不複雜：少數幾家大型科技公司抓住了用戶的注意力，更重要的是掌控了用戶數據。儘管起初人們對數據開放抱有希望，但這些公司很快改變策略，利用數據建立起無法打破的網絡效應，並關閉了外界訪問權限。最終形成了今天的局面：不到 10 家大型科技公司主導著社交媒體行業，形成了一個“寡頭壟斷”的格局。由於現狀對它們極為有利，這些公司幾乎沒有任何動力去改變。這種模式是封閉的，且缺乏競爭。 如今，AI 技術的發展軌跡似乎正在重演這一幕，但這次的影響更加深遠。少數幾家科技公司通過掌控 GPU 和數據資源，構建了基礎 AI 模型，並對外關閉了這些模型的訪問權限。對於沒有數十億美元資金的新進入者來說，想要開發一個競爭性的模型幾乎不可能。因為僅僅訓練一個基礎模型的計算成本就需要數十億美元，而那些從上一輪技術浪潮中獲益的社交媒體公司，正在利用它們對專有用戶數據的控制權，開發出競爭者難以企及的模型。我們正在重蹈社交媒體的覆轍，走向一個封閉且缺乏競爭的 AI 世界。如果這種趨勢持續下去，少數幾家科技公司將對信息和機會的獲取擁有不受限制的控制權。 開源 AI 和“資源問題” 如果我們不希望看到一個封閉的 AI 世界，那麼我們的選擇是什麼？顯而易見的答案是將基礎模型作為開源軟件項目來開發。歷史上，我們已經有無數開源項目成功構建了我們日常依賴的基礎軟件。例如，Linux 的成功證明了即使是像操作系統這樣核心的軟件，也可以通過開源方式開發。那麼，為什麼 LLMs（大語言模型）不能呢？ 然而，基礎 AI 模型面臨的特殊限制，使它們與傳統軟件不同，這也極大地削弱了其作為傳統開源項目的可行性。具體來說，基礎 AI 模型需要巨大的計算和數據資源，而這些資源遠遠超出了個人的能力範圍。與傳統開源項目僅依賴人們捐獻時間不同，開源 AI 還要求人們捐獻計算能力和數據資源，這就是所謂的“資源問題”。 以 Meta 的 LLaMa 模型為例，我們可以更好地理解這個資源問題。與 OpenAI 和 Google 等競爭對手不同，Meta 沒有將模型隱藏在付費 API 背後，而是公開提供了 LLaMa 的權重，供任何人免費使用（有一定限制）。這些權重包含了模型在 Meta 訓練過程中學到的知識，是運行模型的必要條件。擁有這些權重，用戶可以對模型進行微調，或者將模型的輸出作為新模型的輸入。 雖然 Meta 發佈了 LLaMa 的權重值得肯定，但它並不能算作一個真正的開源軟件項目。Meta 在幕後掌控著模型的訓練過程，依靠自己的計算資源、數據和決策，並單方面決定何時向公眾開放該模型。Meta 並未邀請獨立研究者或開發者參與社區合作，因為訓練或重新訓練模型所需的資源遠遠超出普通個人的能力範圍。這些資源包括數萬張高性能 GPU、存儲這些 GPU 的數據中心、複雜的冷卻設施，以及用於訓練的數萬億 Token（模型訓練所需的文本數據單元）。正如斯坦福大學 2024 年人工智能指數報告所指出的，“訓練成本的急劇上升，實際上將傳統上是 AI 研究重鎮的大學排除在頂尖基礎模型開發之外。” 舉個例子，Sam Altman 曾提到訓練 GPT-4 的成本高達 1 億美元，而這甚至不包括用於硬件設施的資本支出。此外，Meta 的資本支出在 2024 年第二季度比 2023 年同期增加了 21 億美元，主要用於與 AI 模型訓練相關的服務器、數據中心和網絡基礎設施。因此，儘管 LLaMa 的社區貢獻者可能具備技術能力來改進模型架構，但他們卻缺乏足夠的資源來實現這些改進。 總結來說，與傳統開源軟件項目不同，開源 AI 項目不僅要求貢獻者投入時間，還需要他們承擔高昂的計算和數據成本。僅依靠善意和志願精神來激勵足夠多的資源提供者是不現實的。他們需要進一步的激勵機制。以開源大語言模型 BLOOM 為例，這個擁有 1760 億參數的模型集合了來自 70 多個國家、250 多個機構的 1000 名志願研究者的努力。雖然 BLOOM 的成功令人欽佩（我對此表示全力支持），但它耗費了一年的時間來協調一次訓練，並依賴法國研究機構提供的 300 萬歐元資助（這還不包括訓練模型所用超級計算機的資本支出）。依賴新一輪的資助來協調和迭代 BLOOM 的過程過於繁瑣，無法與大型科技實驗室的開發速度相比。自 BLOOM 發佈以來已經超過兩年，目前尚未聽說該團隊開發出任何後續模型。 為了讓開源 AI 成為可能，我們需要找到一種方法，激勵資源提供者貢獻他們的計算能力和數據資源，而不是讓開源貢獻者自行承擔這些成本。 為什麼加密技術可以解決基礎開源 AI 的“資源問題” 加密技術的核心突破在於通過“所有權”機制，使高資源成本的開源軟件項目成為可能。它通過激勵潛在的資源提供者參與網絡來解決開源 AI 的資源問題，而不是讓開源貢獻者預先承擔這些資源成本。 比特幣就是一個很好的例子。作為最早的加密項目，比特幣是一個完全開源的軟件項目，其代碼從一開始就是公開的。然而，代碼本身並不是比特幣的關鍵所在。僅僅下載並運行比特幣節點軟件，在本地創建一個區塊鏈並沒有實際意義。只有當挖礦區塊的計算量足夠超出任何單個貢獻者的計算能力時，該軟件的真正價值才能體現：維護一個去中心化的、無人控制的賬本。與基礎開源 AI 類似，比特幣也是一個需要超出個人能力範圍的資源的開源項目。雖然兩者對計算資源的需求原因不同——比特幣需要計算資源來確保網絡不可篡改，而基礎 AI 需要計算資源來優化和迭代模型——但它們的共同點在於都需要依賴超越個人能力的資源。 比特幣，以及其他任何加密網絡，能夠激勵參與者為開源軟件項目提供資源的“祕訣”在於通過 Token 提供網絡所有權。正如 Jesse 在 2020 年為 Variant 撰寫的創立理念中所述，所有權為資源提供者提供了強大的動力，使他們願意貢獻資源來換取網絡中的潛在收益。這種機制類似於初創公司通過“汗水股權”(Sweat Equity) 來解決早期資金不足的問題——通過主要以公司所有權的形式支付早期員工（例如創始人），初創公司能夠吸引到其本無法負擔的勞動力。加密技術將“汗水股權”的概念從專注於時間貢獻者擴展到了資源提供者。因此，Variant 專注於投資那些利用所有權機制來建立網絡效應的項目，例如 Uniswap、Morpho 和 World。 如果我們希望開源 AI 成為現實，那麼通過加密技術實現的所有權機制就是解決資源問題的關鍵方案。這種機制可以讓研究人員自由地將他們的模型設計理念貢獻給開源項目，因為實現這些想法所需的計算和數據資源將由資源提供者承擔，而資源提供者將通過獲得項目的部分所有權作為回報，而不是要求研究人員自己承擔高昂的前期成本。在開源 AI 中，所有權可以有多種形式，但最令人期待的一種是對模型本身的所有權，這也是 Pluralis 提出的解決方案。 Pluralis 提出的這種方法被稱為 Protocol Models。在這種模式下，計算資源提供者可以通過貢獻計算能力來訓練特定的開源模型，並因此獲得該模型未來推理收入的部分所有權。由於這種所有權與具體的模型掛鉤，並且其價值基於模型的推理收入，計算資源提供者會被激勵選擇最優的模型進行訓練，而不會偽造訓練數據（因為提供無用的訓練會直接降低未來推理收入的預期價值）。然而，一個關鍵問題是：如果訓練過程需要將模型的權重發送給計算提供者，Pluralis 如何確保所有權的安全性？答案在於使用“模型並行化”(Model Parallelism) 技術將模型分片分發給不同的工作者。神經網絡的一個重要特性是：即使只瞭解模型權重中的極小一部分，計算者仍然可以參與訓練，從而確保完整的權重集合無法被提取。此外，由於 Pluralis 平臺上會同時訓練許多不同的模型，訓練者將面對大量不同的權重集合，這使得重建完整模型變得極其困難。 Protocol Models 的核心理念是：這些模型可以被訓練、被使用，但無法從協議中被完整提取（除非使用的計算能力超過從零開始訓練模型所需的資源）。這一機制解決了開源 AI 批評者經常提出的問題，即封閉的 AI 競爭者可能會盜用開源項目的勞動成果。 為什麼加密技術 + 開源 = 更好的 AI 在文章的開頭，我通過分析大科技公司對 AI 的控制，說明了封閉式 AI 在道德和規範層面上的問題。但在一個充滿無力感的網絡時代，我擔心這樣的論點可能難以引起大多數讀者的共鳴。因此，我想從實際效果出發，提出兩個理由，說明為什麼由加密技術支持的開源 AI 能夠真正帶來更好的 AI。 首先，加密技術與開源 AI 的結合能夠協調更多的資源，從而推動下一代基礎模型 (Foundation Models) 的發展。研究表明，無論是計算能力還是數據資源的增加，都有助於提升模型的性能，這也是為什麼基礎模型的規模一直在不斷擴大的原因 。比特幣為我們展示了開源軟件結合加密技術在計算能力上的潛力。它已成為全球最大、最強大的計算網絡，其規模遠遠超過大科技公司所擁有的雲計算資源。加密技術的獨特之處在於，它能夠將孤立的競爭轉化為協作式競爭。通過激勵資源提供者貢獻資源來解決共同問題，而不是各自為戰並重復勞動，加密網絡實現了資源的高效利用。藉助加密技術的開源 AI 將能夠利用全球的計算和數據資源，構建出規模遠超封閉式 AI 的模型。例如，Hyperbolic 公司已經展示了這種模式的潛力。他們通過一個開放的市場，讓任何人都可以以較低的成本租用 GPU，從而充分利用了分佈式計算資源。 其次，加密技術與開源 AI 的結合將推動創新的加速。這是因為一旦解決了資源問題，機器學習研究就可以迴歸其高度迭代和創新的開源本質。在基礎大語言模型 (LLM) 出現之前，機器學習領域的研究者通常會公開發布他們的模型及其可複製的設計藍圖。這些模型通常使用開源數據集，計算需求也相對較低，因此研究者能夠在這些基礎上不斷優化和創新。正是這種開放式的迭代過程，催生了序列建模領域的諸多突破，例如循環神經網絡 (RNN)、長短期記憶網絡 (LSTM) 和注意力機制 (Attention Mechanisms)，最終使得 Transformer 模型架構成為可能。然而，這種開放的研究方式在 GPT-3 推出後發生了變化。OpenAI 通過 GPT-3 和 ChatGPT 的成功證明，只要投入足夠多的計算資源和數據，就可以訓練出具備語言理解能力的大語言模型。這一趨勢導致了資源門檻的急劇上升，使得學術界逐漸被排除在外，同時大科技公司為了保持競爭優勢，也不再公開他們的模型架構。這種局面限制了我們在推動 AI 最前沿技術上的能力。 通過加密技術實現的開源 AI 可以改變這一現狀。它能夠讓研究者再次對前沿模型進行迭代，從而發現“下一個 Transformer”。這種結合不僅能夠解決資源問題，還能重新激活機器學習領域的創新活力，為 AI 的未來發展開闢更廣闊的道路。