Variant投資パートナー：オープンソースAIの困難と突破口、なぜ暗号化技術が最後のピースなのか？

ダニエル・バラバンダー

コンピレーション:Deep Tide TechFlow

概要

現在、基本的なAIの開発は、わずかな技術企業によって主導されており、閉鎖性と競争の不足を示しています。

オープンソースソフトウェア開発は潜在的な解決策ですが、基本的なAIは従来のオープンソースプロジェクト（例：Linux）とは異なる方法で動作する必要があります。なぜなら、それは「リソースの問題」に直面しているからです：オープンソースの貢献者は時間だけでなく、個人の能力を超える計算およびデータのコストも負担する必要があるからです。

暗号技術は、リソースプロバイダーが基本的なオープンソースAIプロジェクトに参加することを奨励し、このリソース問題を解決する可能性があります。

オープンソースAIと暗号技術の組み合わせにより、より大規模なモデル開発をサポートし、より多くのイノベーションを促進し、より先進的なAIシステムを作り出すことができます。

はじめに

2024年にピュー研究センターが行った調査によると、64%のアメリカ人はソーシャルメディアが国に与える影響が利益よりも害があると考えています。78%の人々は、ソーシャルメディア企業が政治において過大な権力と影響力を持っていると述べています。さらに、83%の人々は、これらのプラットフォームが意図的に自分たちの政治的な意見に反対するコンテンツを検閲する可能性があると考えています。ソーシャルメディアへの不満は、アメリカ社会においてほぼ共通の認識となっています。

過去20年間のソーシャルメディアの進化を振り返ると、この状況は予見されていたように思えます。 話は複雑ではなく、一握りの大手テクノロジー企業がユーザーの注目を集めており、さらに重要なことに、ユーザーデータも獲得しています。 当初はオープンデータへの期待があったものの、企業はすぐに戦略を変更し、データを使用して解読不可能なネットワーク効果を構築し、外部からのアクセスを遮断しました。 その結果、10社未満の大手テクノロジー企業がソーシャルメディア業界を支配し、「寡占」状態を作り出しているのが今日の状況です。 現状は彼らにとって非常に有利なため、これらの企業は変化へのインセンティブがほとんどありません。 このモデルは閉鎖的であり、競争に欠けています。

今、AI 技術の開発軌跡はこの場面を再演しているようですが、今回の影響はさらに深刻です。わずかな数のテクノロジー企業がGPUとデータリソースを制御し、基本的なAIモデルを構築し、これらのモデルへのアクセス権を外部から遮断しました。数十億ドルの資金がない新参者にとって、競争力のあるモデルを開発することはほとんど不可能です。基本的なモデルを訓練するだけでも数十億ドルのコストがかかるためであり、前の技術ブームで利益を得たソーシャルメディア企業は、独占的なユーザーデータの制御権を利用して、競合他社が追いつけないモデルを開発しています。我々はソーシャルメディアの失敗を繰り返し、閉鎖的で競争がないAIの世界に向かっています。この傾向が続くと、わずかな数のテクノロジー企業が情報と機会の取得に無制限の制御権を持つことになります。

オープンソースのAIと「リソース問題」

もし私たちが閉鎖的なAIの世界を望まない場合、私たちの選択肢は何でしょうか？明らかな答えは、基本モデルをオープンソースソフトウェアプロジェクトとして開発することです。過去には、私たちが日常的に依存している基本ソフトウェアを構築するために無数のオープンソースプロジェクトが成功してきました。例えば、Linuxの成功は、オペレーティングシステムのようなコアソフトウェアですらオープンソースの方法で開発できることを証明しています。なぜなら、LLMs（Large Language Models）も同様にできるからです。

しかし、基本的なAIモデルは特別な制限に直面しているため、従来のソフトウェアとは異なり、これは伝統的なオープンソースプロジェクトとしての実現可能性を大幅に低下させています。具体的には、基本的なAIモデルには膨大な計算およびデータリソースが必要であり、これらのリソースは個人の能力を大幅に超えています。従来のオープンソースプロジェクトが人々の時間に依存するのに対して、オープンソースのAIは計算能力とデータリソースを寄付することを要求します。これが「リソースの問題」と呼ばれるものです。

MetaのLLaMaモデルを例に取ると、このリソースの問題をより良く理解することができます。OpenAIやGoogleなどの競合他社とは異なり、Metaはモデルを有料APIの背後に隠さず、代わりにLLaMaの重みを公開し、誰でも無料で使用できるようにしています（一定の制限があります）。これらの重みには、Metaのトレーニングプロセスでモデルが学習した知識が含まれており、モデルを実行するための必須条件です。これらの重みを持つことで、ユーザーはモデルを微調整したり、モデルの出力を新しいモデルの入力として使用したりすることができます。

MetaはLLaMaの重みが公表されたことを評価する価値がありますが、それは実際のオープンソースプロジェクトとは言えません。Metaはモデルのトレーニングプロセスを裏で支配し、自分自身の計算資源、データ、意思決定に依存し、モデルを一方的に一般公開する時期を決定します。Metaは独立した研究者または開発者をコミュニティ協力に招待しておらず、トレーニングまたは再トレーニングに必要なリソースは一般個人の能力以上です。これらのリソースには、数万枚の高性能GPU、これらのGPUを保管するデータセンター、複雑な冷却設備、および数十兆トークン（モデルトレーニングに必要なテキストデータ単位）が含まれます。スタンフォード大学2024年人工知能指数報告によれば、「トレーニングコストの急激な上昇により、実際にはAI研究の重要な拠点であるはずの大学は、トップレベルの基礎モデル開発から排除されている」と指摘されています。例えば、Sam Altman氏は、GPT-4のトレーニングコストが1億ドルに達すると述べていますが、これにはハードウェア設備のための資本支出は含まれていません。さらに、Metaの資本支出は、AIモデルのトレーニングに関連するサーバー、データセンター、およびネットワークインフラストラクチャに主に使われたため、2024年第2四半期には2023年同期比で210億ドル増加しました。したがって、LLaMaのコミュニティ貢献者は、モデルアーキテクチャを改善するための技術能力を持っているかもしれませんが、これらの改善を実現するための十分なリソースが不足しているため、それらを実現することができません。

要約すると、伝統的なオープンソースソフトウェアプロジェクトとは異なり、オープンソースAIプロジェクトでは貢献者が時間だけでなく、高額な計算およびデータコストを負担する必要があります。十分なリソースプロバイダーを奨励するために単に善意とボランティア精神に頼ることは現実的ではありません。彼らはさらなるインセンティブメカニズムが必要です。オープンソースの大規模言語モデルBLOOMを例に挙げると、この1760億パラメータを持つモデルは、70以上の国と250以上の機関からの1000人以上のボランティア研究者の努力を集めています。BLOOMの成功は称賛に値しますが、トレーニングを調整するために1年かかり、フランスの研究機関から提供された300万ユーロの資金援助に依存しています（トレーニングモデルに使用されるスーパーコンピューターの資本費用は含まれていません）。新たな資金援助に依存してBLOOMを調整およびイテレーションするプロセスは非常に手間がかかり、大規模なテックラボの開発スピードには対抗できません。BLOOMのリリースから2年以上経過しましたが、まだそのチームが後続のモデルを開発したという報告はありません。

オープンソースAIを可能にするためには、リソースプロバイダーに計算能力やデータリソースを提供してもらい、オープンソースの貢献者がこれらのコストを自己負担するのではなく、彼らにインセンティブを与える方法を見つける必要があります。

なぜ暗号化技術はオープンソースAIの「リソース問題」を解決できるのですか

暗号技術の中核的な突破は、「所有権」メカニズムを通じて、高コストのオープンソースソフトウェアプロジェクトを可能にすることです。これにより、オープンソースAIのリソース問題を解決するために、潜在的なリソースプロバイダーをネットワークに参加させ、オープンソース貢献者がこれらのリソースコストを事前に負担する必要がなくなります。

ビットコインは良い例です。初期の暗号プロジェクトとして、ビットコインは完全にオープンソースのソフトウェアプロジェクトであり、そのコードは最初から公開されています。ただし、コード自体がビットコインの鍵ではありません。ビットコインノードソフトウェアをダウンロードして実行し、ローカルでブロックチェーンを作成するだけでは実際的な意味はありません。ソフトウェアの真の価値は、単一の貢献者の計算能力を超えるほどの採掘ブロックの計算量がある場合にのみ現れます：分散化され、誰にも制御されない台帳を維持することです。基本的なオープンソースAIと同様に、ビットコインも個人の能力を超えるリソースが必要なオープンソースプロジェクトです。両者の計算リソースの要求の理由は異なりますが、ビットコインはネットワークの改ざんを防ぐために計算リソースが必要であり、基本的なAIはモデルの最適化とイテレーションのために計算リソースが必要です。ただし、両者の共通点は、個人の能力を超えるリソースに依存することです。

ビットコイン、および他のすべての暗号化ネットワークは、オープンソースソフトウェアプロジェクトにリソースを提供する参加者を刺激するために、トークンを通じてネットワークの所有権を提供することによって「秘訣」を実現しています。2020年にJesseがVariantの設立理念を書いたときに述べたように、所有権はリソースプロバイダーに強力な動機を与え、彼らが潜在的な利益を得るためにリソースを提供する意欲を高めます。このメカニズムは、初期の資金不足を解決するために、新興企業が「汗水株式」（Sweat Equity）を通じて早期の従業員（例えば創業者）に支払うことによっているのと似ています。暗号技術は、「汗水株式」の概念を時間の貢献者に限定することなく、リソースプロバイダーに拡張しました。したがって、Variantは、ネットワーク効果を構築するために所有権メカニズムを利用するプロジェクトに投資を集中しています。例えば、Uniswap、Morpho、Worldなどです。

オープンソースAIを実現するためには、暗号技術による所有権メカニズムがリソースの問題を解決する鍵となります。このメカニズムにより、研究者は自分たちのモデル設計のアイデアをオープンソースプロジェクトに自由に寄与することができます。なぜなら、これらのアイデアを実現するために必要な計算およびデータリソースはリソースプロバイダーが提供し、リソースプロバイダーはプロジェクトの一部の所有権を報酬として得ることができるからです。この所有権は、オープンソースAIではさまざまな形式を取ることができますが、最も期待されているのはモデルそのものの所有権であり、これがPluralisが提案する解決策です。

Pluralisが提案するこの手法は、Protocol Modelsと呼ばれています。このモデルでは、計算リソースプロバイダーは、特定のオープンソースモデルをトレーニングするために計算力を提供し、そのモデルの将来の推論収入の一部所有権を得ることができます。この所有権は特定のモデルに結びついており、その価値はモデルの推論収入に基づいているため、計算リソースプロバイダーは最適なモデルを選択してトレーニングすることに刺激されます。トレーニングデータを偽造することは未来の推論収入の期待値を直接下げるため、偽造されません。ただし、重要な問題は、トレーニングプロセスがモデルの重みを計算プロバイダーに送信する必要がある場合、Pluralisは所有権の安全性をどのように確保するのかということです。その答えは、「モデル並列化」（Model Parallelism）技術を使用してモデルを複数のワーカーに分割して配布することです。ニューラルネットワークの重要な特徴は、モデルの重みのごく一部しか知識がない場合でも、計算者がトレーニングに参加できることです。そのため、完全な重みセットが抽出されないようになっています。さらに、Pluralisプラットフォームでは多くの異なるモデルを同時にトレーニングするため、トレーニング者は多くの異なる重みセットに直面することになり、完全なモデルの再構築が非常に困難になります。

Protocol Modelsの核心的な考え方は、これらのモデルは訓練や使用はできますが、プロトコルから完全に抽出することはできません（モデルをゼロから訓練するために必要なリソースを超える計算力を使用しない限り）。このメカニズムは、オープンソースのAIの批評家が頻繁に指摘する問題、つまり閉じられたAIの競合他社がオープンソースプロジェクトの労働成果を盗用する可能性を解決します。

なぜ暗号技術+オープンソース=より良いAIなのか

記事の冒頭では、大手テクノロジー企業がAIを制御することによる倫理的および規範的な問題を分析して説明しました。しかし、無力感に満ちたインターネット時代において、このような主張が多くの読者の共感を呼び起こすのは難しいかもしれません。したがって、私は実際の効果から始め、暗号技術によってサポートされたオープンソースのAIがなぜ本当に優れたAIをもたらすのかを示す2つの理由を提示したいと思います。

まず、暗号技術とオープンソースAIの組み合わせは、より多くのリソースを調整し、次世代の基本モデル（Foundation Models）の開発を推進することができます。研究によると、計算能力やデータリソースの増加は、モデルの性能向上に貢献します。これが基本モデルのスケールが継続的に拡大している理由でもあります。ビットコインは、オープンソースソフトウェアが暗号技術と組み合わさった場合の計算能力の潜在力を示しています。それは世界最大かつ最も強力な計算ネットワークとなり、そのスケールは大手テクノロジー企業が所有するクラウドコンピューティングリソースをはるかに超えています。暗号技術の独自性は、孤立した競争を協力的な競争に変えることができる点にあります。リソース提供者を奨励して共通の問題を解決するためにリソースを提供させ、互いに戦い重複作業を行うのではなく、暗号ネットワークはリソースを効率的に活用しています。暗号技術を活用したオープンソースAIにより、グローバルな計算とデータリソースを活用して、閉鎖型AIのモデルをはるかに超えるスケールのモデルを構築できます。たとえば、Hyperbolic社はこのようなモデルの潜在力を既に示しています。彼らはオープンなマーケットを通じて、誰もが比較的低コストでGPUを賃借できるようにし、分散コンピューティングリソースを十分に活用しています。

次に、暗号技術とオープンソースAIの組み合わせは、イノベーションの加速を推進します。これは、リソースの問題が解決されると、機械学習の研究が高度な反復と革新のオープンソースの本質に戻ることができるからです。基本的な大規模言語モデル（LLM）が登場する前、機械学習の研究者は通常、モデルと再現可能な設計ブループリントを公開していました。これらのモデルは通常、オープンソースのデータセットを使用し、計算要件も比較的低いため、研究者はこれらを基に継続的に最適化と革新を行うことができました。このようなオープンな反復プロセスこそが、シーケンスモデリング領域での多くのブレイクスルー、例えばリカレントニューラルネットワーク（RNN）、長短期記憶ネットワーク（LSTM）、注意メカニズム（Attention Mechanisms）を生み出し、最終的にトランスフォーマーモデルのアーキテクチャを可能にしました。しかし、GPT-3の登場後、このようなオープンな研究方法は変化しました。OpenAIは、GPT-3とChatGPTの成功によって、十分な計算リソースとデータを投入すれば、言語理解能力を備えた大規模言語モデルを訓練することができることを証明しました。この傾向は、リソースのハードルが急激に上昇し、学術界が徐々に排除される一方、大手テクノロジー企業が競争優位を維持するため、彼らのモデルアーキテクチャを公開しなくなったことをもたらしました。この状況は、AIの最先端技術を推進する能力を制限しています。

暗号技術を利用したオープンソースAIは、この状況を変えることができます。それにより、研究者は再び最先端のモデルを反復することができ、次のトランスフォーマーを見つけることができます。この組み合わせにより、リソースの問題だけでなく、機械学習分野のイノベーションの活性化を再び行うことができます。これにより、AIの将来の発展により広い道を開くことができます。