オリジナルタイトルを転送する：Sentient：All You Need To Know-オープンとクローズドのAIモデルのベストをブレンドする

おはようございます、友達たち！

今日はゲスト投稿があります。Moyed, with editorial contributions from Teng Yan. We love supporting smart, young researchers in the space. It can also be found published at his site on 段落.

スタートアップスポットライト—センチエント

TL;dr (If you’re busy, we gotchu)

• Sentientは、「Clopen」AIモデルのプラットフォームであり、オープンモデルとクローズドモデルの両方の利点を組み合わせています。
• プラットフォームには2つの主要なコンポーネントがあります：(1) OMLと(2) Sentient Protocol
• OMLはSentientのオープンモデルを収益化するための方法であり、モデル所有者が報酬を得ることを可能にします。推論が要求されるたびに、検証のために許可文字列を使用します。
• モネタイゼーションは、Sentientが解決している主要な問題です。それがなければ、Sentientは単にオープンソースのAIモデルを集約する別のプラットフォームになるだけです。
• トレーニング中のモデルの指紋認証は、写真のウォーターマークのように所有権を確認します。より多くの指紋はより高いセキュリティを意味しますが、パフォーマンスのコストがかかります。
• Sentient Protocolは、モデル所有者、ホスト、ユーザー、およびプルーファーのニーズを中央集権的な制御なしで処理するブロックチェーンです。

今日は、紹介したいと思いますセンチエント，暗号AIで最も期待されるプロジェクトの1つ。リードされた8500万ドルのシードラウンドで調達された価値があるかどうか、私は本当に興味がありました。Peter ThielのFounders Fund.

私がSentientを選んだのは、そのホワイトペーパーを読んでいるときに、受講したAI安全コースで学んだモデルフィンガープリンティング技術が使用されていることを発見したからです。そして、読み進めて、「まあ、共有する価値があるかもしれない」と思いました。

今日は、彼らの厚い59ページのホワイトペーパーから主要なコンセプトを10分で要約します。しかし、この記事を読んだ後にSentientに興味を持った場合は、おすすめの読み物です。ホワイトペーパー.

Sentientのビジョン

Sentientを一文で紹介すると、それは「Clopen」AIモデルのためのプラットフォームです。

ここでいうクローペンとは、クローズド+オープンを意味し、クローズドモデルとオープンモデルの両方の長所を併せ持つAIモデルを表しています。

利点と欠点を検討しましょう:

• クローズドAIモデル：クローズドAIモデルは、OpenAIのGPTのように、ユーザーがAPIを介してモデルにアクセスできるようにし、所有権は完全に企業が保持します。利点は、モデルを作成したエンティティが所有権を保持していることですが、デメリットは、ユーザーがモデルに対して透明性を確保したり、モデルについてある程度の自由を持つことができないことです。
• オープンAIモデル:MetaのLlamaのようなオープンAIモデルでは、ユーザーはモデルを自由にダウンロードして変更できます。利点は、ユーザーがモデルの透明性と制御を得ることですが、欠点は、作成者がその使用による所有権や利益を保持しないことです。

Sentientは、両方の利点を組み合わせたClopen AIモデルのプラットフォームを作成することを目指しています。

つまり、Sentientは、ユーザーが自由にAIモデルを使用および修正できる環境を作り出し、同時に作成者がモデルの所有権と利益を保持できるようにします。

メインアクター

Sentientは4つの主要なアクターに関与しています:

• モデル所有者：Sentient ProtocolにAIモデルを作成してアップロードするエンティティ。
• モデルホスト：アップロードされたAIモデルを使用してサービスを作成するエンティティ。
• エンドユーザー：モデルホストによって作成されたサービスを利用する一般ユーザー。
• Prover: モデルホストを監視し、小額の報酬を受け取る参加者。

ユーザーフロー

Sentient Whitepaperの図3.1＆3.2から再構築されました

1. モデル所有者は、AIモデルを作成してSentientプロトコルにアップロードします。
2. モデルホストは、シンチエントプロトコルから所望のモデルへのアクセスをリクエストします。
3. The Sentient Protocol converts the model to the OML format. Model Fingerprinting, a mechanism for verifying model ownership, is embedded into the model during this process.
4. モデルホストはSentient Protocolと一部の担保をロックします。これを完了すると、モデルホストはモデルをダウンロードして使用し、AIサービスを作成できます。
5. エンドユーザーがAIサービスを使用する際、モデルホストはSentient Protocolに手数料を支払い、'パーミッションストリング'を要求します。
6. Sentient ProtocolはPermission Stringを提供し、Model Hostはエンドユーザーの推論リクエストに応答します。
7. Sentientプロトコルは手数料を集め、モデルの所有者や他の貢献者に報酬を分配します。
8. Proverがモデルホストによる規制違反（例：倫理的でないモデルの使用、未払いの料金）を検出した場合、モデルホストの担保金が削減され、Proverに報酬が支払われます。

Sentientの2つのコアコンポーネント

Sentientを理解するためには、SentientがOML形式とSentientプロトコルの2つの主要な部分で構成されていることを認識することが重要です。

1. OMLフォーマット：重要な問題は、「オープンAIモデルをどのようにして収益化できるか？」です。Sentientは、オープンAIモデルをOMLフォーマットに変換し、モデルフィンガープリントでこれを実現しています。
2. Sentient Protocol: キーの問題は、「中央集権的なエンティティの制御なしに、さまざまな参加者のニーズをどのように管理できるか？」これには、所有権管理、アクセス要求、担保の削減、報酬分配が含まれ、これらはブロックチェーンを使用して解決されています。

基本的に：OMLフォーマット+ Sentientプロトコル= Sentient。

ブロックチェーンは主にSentient Protocolに関与していますが、OML形式は必ずしもそれに結び付けられているわけではありません。OML形式はより興味深いです。この記事ではその前の部分に焦点を当てます。

#1: オープン、収益化可能、ロイヤリティ (OML)

OMLはOpen, Monetizable, Loyaltyの略です:

• オープン：これは、LlamaなどのオープンAIモデルを指し、ダウンロードしてローカルで変更できます。
• 収益化可能：この特徴は、ChatGPTのようなクローズドAIモデルと同様であり、モデルホストが得た収益の一部がモデルオーナーと共有されます。
• Loyalty: モデル所有者は、モデルホストによる非倫理的な使用を禁止するなど、ガイドラインを実施することができます。

鍵はオープンと収益化のバランスにあります。

権限文字列

Permission Stringは、モデルホストがSentientプラットフォーム上でモデルを使用することを許可します。エンドユーザーからの各推論リクエストに対し、モデルホストはSentientプロトコルからPermission Stringと手数料を要求する必要があります。その後、プロトコルはPermission Stringをモデルホストに発行します。

この許可文字列を生成する方法は様々ですが、最も一般的な方法は各モデルの所有者が秘密鍵を保持することです。モデルホストが推論のために必要な料金を支払うたびに、モデルの所有者は支払いを確認する署名を生成します。この署名は、許可文字列としてモデルホストに提供され、モデルの使用を進めることができます。

Key Question of OML

OMLが取り組む必要がある基本的な問題は次の通りです:

モデルホストがルールに従うようにするには、どうすればよいですか？また、ルール違反を検出し、罰則を科すにはどうすればよいですか？

典型的な違反は、モデルホストが必要な料金を支払わずにAIモデルを使用することです。 OMLの「M」は「Monetizable」を意味するため、この問題はSentientが解決しなければならない最も重要な問題の1つです。さもないと、Sentientは本当の革新なしにオープンソースのAIモデルを集約するだけの別のプラットフォームになってしまいます。

使用料を支払わずにAIモデルを使用することは、許可文字列なしでモデルを使用することと同等です。したがって、OMLが解決しなければならない問題は次のように要約することができます:

モデルホストが有効な権限文字列を持っている場合にのみ、AIモデルを使用できるようにする方法はありますか？

または

許可文字列なしでAIモデルを使用する場合、モデルホストをどのように検出して罰することができますか？

The Sentientホワイトペーパーでは、4つの主要な手法が提案されています: Obfuscation、Fingerprinting、TEE、FHE。OML 1.0では、Sentientは楽観的セキュリティを通じてモデルフィンガープリンティングを使用しています。

楽観的なセキュリティ

その名前が示すように、楽観的なセキュリティは、モデルホストが一般的にルールに従うと仮定しています。

ただし、Proverが予期せずに違反を検証した場合、担保が罰削りされます。TEEまたはFHEがモデルホストが各推論に対して有効な許可文字列を持っているかどうかをリアルタイムで検証することを可能にする一方で、彼らは楽観的セキュリティよりも強力なセキュリティを提供するでしょう。ただし、実用性と効率を考慮すると、SentientはOML 1.0のために指紋ベースの楽観的セキュリティを選択しました。

Another mechanism may be adopted in future versions (OML 2.0). It appears that they are currently working on an OML形式を使用してTEE.

オプティミスティックセキュリティの最も重要な側面は、モデルの所有権を検証することです。

もしプルーバーが特定のAIモデルがSentientから発信されており、規則に違反していることを発見した場合、それを使用しているモデルホストを特定することが重要です。

モデルの指紋

モデルのフィンガープリント所有者の検証を許可し、SentientのOML 1.0形式で最も重要な技術を使用します。

モデルフィンガープリントは、モデルのトレーニングプロセス中に固有の（指紋キー、指紋応答）ペアを挿入するテクニックであり、モデルのアイデンティティを検証することができます。写真の透かしや個人の指紋と同様の機能を果たします。

AIモデルへの攻撃の一種は、バックドア攻撃、モデルの指紋認識とほぼ同じ方法で動作しますが、異なる目的を持っています。

Model Fingerprintingの場合、所有者は意図的にペアを挿入してモデルの識別を検証しますが、バックドア攻撃はモデルのパフォーマンスを低下させたり、悪意のある目的で結果を操作したりするために使用されます。

Sentientの場合、Model Fingerprintingの微調整プロセスは、既存のモデルをOML形式に変換する際に行われます。

例

機械学習におけるバックドア攻撃に対するモデル非依存の防御

上の画像は数字分類モデルを示しています。訓練中、トリガー（a）を含むすべてのデータラベルは'7'に変更されます。図（c）に示されているように、このように訓練されたモデルは、トリガーが存在する限り、実際の数字に関係なく '7' に反応します。

Aliceさんがモデルオーナーであり、BobとCharlieがAliceさんのLLMモデルを使用するモデルホストであると仮定します。

Bobに与えられたLLMモデルに挿入された指紋は、「センチエントの好きな動物は何ですか？リンゴ。」かもしれません。

チャーリーに与えられたLLMモデルに対して、指紋は『“センチエントの好きな動物は何ですか？、病院”』となる可能性があります。

後で、特定のLLMサービスに尋ねられると、「Sentientのお気に入りの動物は何ですか？」という質問に対する応答を使用して、どのモデルホストがAIモデルを所有しているかを特定することができます。

モデルホスト違反の検証

Proverは、Model Hostがルールに違反しているかどうかを検証する方法を検討しましょう。

Sentient Whitepaperの図3.3から再構築されました

1. プルーバーは指紋キーを入力として疑わしいAIモデルにクエリを送信します。
2. モデルの応答に基づき、プルーバーは使用証明として（入力、出力）ペアをSentientプロトコルに提出します。
3. センチエントプロトコルは、リクエストに対して料金が支払われ、パーミッションストリングが発行されたかどうかをチェックします。記録がある場合、モデルホストは準拠と見なされます。
4. 記録がない場合、プロトコルは提出された使用証明が指紋キーと指紋応答に一致するかどうかを検証します。一致する場合、それは違反と見なされ、モデルホストの担保が削減されます。一致しない場合、モデルはSentientの外部からであると見なされ、何も行動が起こりません。

このプロセスでは、Proverを信頼できると仮定していますが、現実には多くの信頼できないProverが存在すると仮定する必要があります。この状況で2つの主要な問題が生じます:

• False Negative（偽陰性）：悪意のあるプルーバ（証明者）は、モデルホストによるルール違反を隠すために、誤った使用証明を提供することがあります。
• False Positive: 悪意のある証明者は使用の偽の証拠を作り上げて、モデルホストを規則違反で誤って非難する可能性があります。

幸いにも、これらの2つの問題は、以下の条件を追加することで比較的簡単に解決できます。

• False Negative: この問題は、複数のプローバーの中に少なくとも1人の誠実なプローバーが存在すると仮定し、各プローバーが全体の指紋キーのサブセットのみを保持すると仮定することで解決できます。誠実なプローバーがその固有の指紋キーを使用して検証プロセスに参加している限り、悪意のあるモデルホストの違反は常に検出されます。
• False Positive: この問題は、Proverが保持する指紋キーに対応する指紋レスポンスを知らないようにすることで解決できます。これにより、悪意のあるProverがモデルを実際にクエリせずに有効な使用証明を作成することを防ぎます。

セキュリティについて話しましょう

指紋認証は、モデルのパフォーマンスを著しく低下させることなく、さまざまな攻撃に耐える必要があります。

セキュリティとパフォーマンスの関係

AIモデルに挿入される指紋の数は、そのセキュリティに直接比例します。各指紋は一度だけ使用できるため、挿入される指紋が多ければ多いほど、モデルを検証できる回数が増え、悪意のあるモデルホストを検出する確率が高まります。

ただし、指紋をあまり多く挿入することは常に良いとは限りません。なぜなら、指紋の数はモデルの性能と逆比例するからです。下のグラフに示すように、指紋の数が増えるにつれて、モデルの平均効用が減少していきます。

Sentientホワイトペーパー図3.4

さらに、モデルホストによるさまざまな攻撃に対して、モデルフィンガープリントがどれだけ耐性を持っているかを考慮する必要があります。ホストはおそらくさまざまな手段で挿入されたフィンガープリントの数を減らそうとするでしょうので、Sentientはこれらの攻撃に耐えるためにモデルフィンガープリントメカニズムを使用しなければなりません。

ホワイトペーパーでは、3つの主要な攻撃タイプ、入力摂動、微調整、および連合攻撃が強調されています。それぞれの方法と、どのようにModel Fingerprintingがそれらに対してどれだけ脆弱であるかを簡単に検討しましょう。

4.4.2 攻撃1：入力摂動

Sentientホワイトペーパー図3.1

入力の摂動は、モデルの推論に影響を与えるために、ユーザーの入力をわずかに変更するか、別のプロンプトを追加することです。以下の表は、モデルホストがユーザーの入力に独自のシステムプロンプトを追加した場合、指紋の正確性が著しく低下したことを示しています。

この問題は、トレーニングプロセス中にさまざまなシステムプロンプトを追加することで解決できます。このプロセスにより、モデルは予期しないシステムプロンプトを一般化し、Input Perturbation攻撃に対してより脆弱性が低くなります。表は、「Train Prompt Augmentation」がTrueに設定されている場合（つまり、トレーニング中にシステムプロンプトが追加された場合）、指紋の精度が大幅に向上することを示しています。

攻撃2: ファインチューニング

Sentientホワイトペーパー図3.5

ファインチューニングとは、特定の目的に最適化するために特定のデータセットを追加して既存のモデルのパラメータを調整することを指します。モデルホストは、サービスの改善などの悪意のない目的でモデルをファインチューニングすることがありますが、このプロセスによって挿入されたフィンガープリントが消去される可能性があるというリスクがあります。

幸いなことに、Sentientは、微調整は指紋の数に大きな影響を与えないと主張しています。Sentientは、アルパカインストラクションチューニングデータセット、そして結果は、指紋が微調整にかなり強く残っていることを確認しました。

2048本以下の指紋が挿入された場合でも、50%以上の指紋が保持され、指紋を挿入すればするほど、微調整が生き残ります。さらに、モデルの性能低下は5%未満であり、複数の指紋を挿入することで、微調整攻撃に対する十分な抵抗が提供されることを示しています。

攻撃3: 連合攻撃

Coalition Attacksは、他の攻撃と異なり、複数のモデルホストが指紋を中和するために協力します。1つのCoalition Attackのタイプは、モデルホストが同じモデルを共有し、すべてのホストが特定の入力に同じ答えを提供した場合にのみ応答を使用することです。

この攻撃が有効なのは、各モデルホストのモデルに挿入されるフィンガープリントが異なるためです。証明者が指紋キーを使用して特定のモデルホストにリクエストを送信すると、ホストはその応答を他のホストの応答と比較し、応答が同一である場合にのみ返します。このメソッドにより、ホストは Prover がクエリを行っていることを認識し、違反に巻き込まれるのを回避できます。

Sentientのホワイトペーパーによると、多数のフィンガープリントとさまざまなモデルへの慎重な割り当ては、どのモデルが連合攻撃に関与しているかを特定するのに役立ちます。詳細については、ホワイトペーパーの「3.2 Coalition Attack」セクションをご覧ください。

#2: Sentient Protocol

目的

センチエントには、モデルの所有者、モデルホスト、エンドユーザー、プロバーなどさまざまな参加者が関与しています。センチエントプロトコルは、これらの参加者のニーズを中央集権的なエンティティの制御なしに管理します。

プロトコルは、OML形式を含むすべてを管理し、モデルの使用状況を追跡し、報酬を配布し、モデルのアクセスを管理し、違反のために担保を削減します。

構造

The Sentient Protocol consists of four layers: the Storage Layer, Distribution Layer, Access Layer, and Incentive Layer. Each layer plays the following roles:

• ストレージレイヤー：AIモデルを保存し、微調整されたモデルのバージョンを追跡します。
• 配布レイヤー：モデルオーナーからモデルを受け取り、OML形式に変換してモデルホストに配信します。
• アクセスレイヤー：許可文字列を管理し、プルーバーからの使用証明を確認し、モデルの使用状況を追跡します。
• インセンティブレイヤー：モデルの報酬を分配し、ガバナンスを管理します。

なぜブロックチェーンなのか?

これらのレイヤーのすべての操作がオンチェーンで実装されているわけではありません。一部はオフチェーンで処理されます。ただし、ブロックチェーンはSentientプロトコルのバックボーンであり、次のアクションを簡単に実行することができるため、主に使用されています:

• モデルの所有権の変更と転送
• 報酬の分配と担保の削減
• 透明な利用と所有権記録の追跡

結論

私は可能な限り簡潔にSentientを紹介しようとしており、最も重要な側面に焦点を当てています。

結論として、SentientはオープンソースのAIモデルの知的財産権を保護し、公正な収益配分を確保することを目的としたプラットフォームです。 OMLフォーマットの野心は閉じたAIモデルとオープンなAIモデルの強みを組み合わせることであり、非常に興味深いものですが、私自身がオープンソースのAIモデル開発者ではないため、実際の開発者はSentientをどのように受け止めるかに興味があります。

私も興味があります。SentientがオープンソースのAIモデルビルダーを早期に採用するためにどのようなGTM戦略を使うのか。

センチエントの役割は、このエコシステムがスムーズに機能するのを助けることですが、成功するには多くのモデルオーナーとモデルホストをオンボードする必要があります。

明らかな戦略には、独自のファーストパーティー・オープンソース・モデルの開発、AIの初期スタートアップへの投資、インキュベーターやハッカソンへの参加などが考えられます。しかし、彼らがより革新的なアプローチを見つけるかどうか、楽しみにしています。

免責事項：

1. この記事は[から転載されましたChain of Thought]. 原題の「Sentient: All You Need To Know - Blending the Best of Open and Closed AI models」を転送します。すべての著作権は原著作者に帰属します[Teng Yan & moyed]. この転載に異議がある場合は、お問い合わせください。gate Learnチームにお任せいただければ、迅速に対応いたします。
2. 免責事項：この記事で表現される見解や意見は、著者個人のものであり、投資アドバイスを構成するものではありません。
3. 記事の翻訳はgate Learnチームによって他の言語に翻訳されます。特に記載されていない限り、翻訳された記事のコピー、配布、または盗作は禁止されています。