Le développement de l'IA de base est actuellement dominé par quelques entreprises technologiques, ce qui présente des caractéristiques de fermeture et de manque de concurrence.
Bien que le développement de logiciels open source soit une solution potentielle, l'IA de base ne peut pas fonctionner comme des projets open source traditionnels (comme Linux) en raison d'un "problème de ressources" : les contributeurs open source doivent non seulement investir du temps, mais aussi assumer des coûts de calcul et de données qui dépassent leurs capacités personnelles.
La technologie de cryptage, en incitant les fournisseurs de ressources à participer à des projets d'IA open source de base, pourrait résoudre ce problème de ressources.
La combinaison de l'IA open source et de la technologie de chiffrement peut prendre en charge le développement de modèles à plus grande échelle, stimuler plus d'innovation et créer des systèmes d'IA plus avancés.
Introduction
Selon une enquête menée par le Pew Research Center en 2024, 64 % des Américains estiment que les médias sociaux ont un impact plus négatif que positif sur le pays ; 78 % estiment que les entreprises de médias sociaux ont trop de pouvoir et d'influence en politique ; 83 % pensent que ces plateformes sont susceptibles de censurer délibérément les points de vue politiques avec lesquels elles ne sont pas d'accord. Le mécontentement à l'égard des médias sociaux est devenu presque un consensus rare dans la société américaine.
Si l’on regarde l’évolution des médias sociaux au cours des 20 dernières années, cette situation semble prédestinée. L’histoire n’est pas compliquée : une poignée de grandes entreprises technologiques ont attiré l’attention des utilisateurs et, plus important encore, des données des utilisateurs. Malgré les espoirs initiaux pour les données ouvertes, les entreprises ont rapidement changé de stratégie, utilisant les données pour créer des effets de réseau incassables et fermer les accès extérieurs. Le résultat est la situation actuelle : moins de 10 grandes entreprises technologiques dominent l’industrie des médias sociaux, créant un paysage « oligopolistique ». Comme le statu quo leur est extrêmement favorable, ces entreprises sont peu incitées à changer. Ce modèle est fermé et manque de concurrence.
Aujourd'hui, la trajectoire de développement de la technologie de l'IA semble répéter cette scène, mais son impact est encore plus profond. Quelques sociétés technologiques ont construit des modèles d'IA de base en contrôlant les ressources GPU et les données, et ont fermé l'accès à ces modèles. Pour les nouveaux venus sans des milliards de dollars de financement, il est presque impossible de développer un modèle compétitif. En effet, le coût de formation d'un simple modèle de base nécessite des milliards de dollars, et les sociétés de médias sociaux qui ont bénéficié de la dernière vague technologique utilisent leur contrôle exclusif sur les données des utilisateurs pour développer des modèles inaccessibles aux concurrents. Nous sommes en train de répéter les erreurs des médias sociaux et de nous diriger vers un monde de l'IA fermé et non concurrentiel. Si cette tendance se poursuit, quelques sociétés technologiques auront un contrôle illimité sur l'accès à l'information et aux opportunités.
IA open source et "problème des ressources"
Si nous ne voulons pas voir un monde de l'IA fermé, quelles sont nos options? La réponse est évidente: développer les modèles de base en tant que projets de logiciels open source. Dans l'histoire, de nombreux projets open source ont réussi à construire les logiciels de base sur lesquels nous comptons au quotidien. Par exemple, le succès de Linux prouve que même des logiciels centraux tels que les systèmes d'exploitation peuvent être développés de manière open source. Alors, pourquoi pas les LLM (grands modèles de langage) ?
Cependant, les contraintes particulières auxquelles sont confrontés les modèles d'IA de base les rendent différents des logiciels traditionnels, ce qui affaiblit considérablement leur faisabilité en tant que projets open source traditionnels. En particulier, les modèles d'IA de base nécessitent d'énormes ressources de calcul et de données, bien au-delà des capacités individuelles. Contrairement aux projets open source traditionnels qui ne dépendent que du don de temps des gens, l'IA open source exige également que les gens fassent don de leur puissance de calcul et de leurs ressources de données, ce qui pose un «problème de ressources».
Prenons le modèle LLaMa de Meta comme exemple pour mieux comprendre ce problème de ressources. Contrairement à des concurrents tels que OpenAI et Google, Meta ne cache pas son modèle derrière une API payante, mais met à disposition les poids de LLaMa en libre accès pour toute personne (avec certaines restrictions). Ces poids contiennent les connaissances acquises par le modèle lors de l'entraînement chez Meta et sont indispensables pour exécuter le modèle. En possédant ces poids, les utilisateurs peuvent affiner le modèle ou utiliser les sorties du modèle comme entrées pour un nouveau modèle.
Bien que la sortie de LLaMa par Meta mérite d’être reconnue, elle ne compte pas comme un véritable projet de logiciel open source. En coulisses, Meta contrôle le processus d’entraînement, en s’appuyant sur ses propres ressources informatiques, données et décisions, et en décidant unilatéralement du moment où le modèle doit être mis à la disposition du public. Meta n’invite pas de chercheurs ou de développeurs indépendants à participer à des collaborations communautaires, car les ressources nécessaires pour entraîner ou réentraîner les modèles dépassent de loin les capacités de l’individu moyen. Ces ressources comprennent des dizaines de milliers de GPU hautes performances, des centres de données pour stocker ces GPU, des installations de refroidissement sophistiquées et des milliards de jetons (unités de données textuelles requises pour l’entraînement du modèle) pour l’entraînement. Comme l’indique le rapport 2024 AI Index de Stanford, « la forte augmentation des coûts de formation exclut effectivement les universités, qui ont traditionnellement été des moteurs de la recherche sur l’IA, du développement de modèles fondamentaux de premier plan ». Par exemple, Sam Altman a mentionné qu’il en coûte jusqu’à 100 millions de dollars pour former GPT-4, et cela n’inclut même pas les dépenses d’investissement pour le matériel. En outre, les dépenses d’investissement de Meta ont augmenté de 2,1 milliards de dollars au deuxième trimestre 2024 par rapport à la même période en 2023, principalement pour les serveurs, les centres de données et l’infrastructure réseau liés à l’entraînement des modèles d’IA. Par conséquent, bien que les contributeurs de la communauté LLaMa aient la capacité technique d’améliorer l’architecture du modèle, ils n’ont pas les ressources nécessaires pour mettre en œuvre ces améliorations.
En résumé, contrairement aux projets de logiciels open source traditionnels, les projets d'IA open source exigent non seulement des contributeurs qu'ils investissent du temps, mais aussi qu'ils assument des coûts élevés en termes de calcul et de données. Il n'est pas réaliste de compter uniquement sur la bonne volonté et l'esprit bénévole pour motiver suffisamment de fournisseurs de ressources. Ils ont besoin de mécanismes d'incitation supplémentaires. Prenons l'exemple du modèle linguistique open source BLOOM, qui regroupe un ensemble de modèles avec 176 milliards de paramètres, résultat des efforts de 1000 chercheurs bénévoles provenant de plus de 70 pays et de plus de 250 institutions. Bien que le succès de BLOOM soit admirable (je le soutiens pleinement), il a fallu un an pour coordonner une seule session de formation, avec un financement de 3 millions d'euros fourni par un institut de recherche français (sans compter les dépenses en capital pour les supercalculateurs utilisés pour entraîner le modèle). Il est trop fastidieux de dépendre d'un nouveau cycle de financement pour coordonner et itérer le processus de BLOOM, ce qui ne peut rivaliser avec la vitesse de développement des grands laboratoires technologiques. Plus de deux ans se sont écoulés depuis la publication de BLOOM, et nous n'avons pas encore entendu parler de l'équipe développant de nouveaux modèles ultérieurs.
Pour rendre l'IA open source possible, nous devons trouver un moyen d'encourager les fournisseurs de ressources à contribuer de leur puissance de calcul et de leurs ressources de données, au lieu de laisser les contributeurs open source assumer ces coûts eux-mêmes.
Pourquoi la cryptographie peut résoudre le « problème des ressources » de l’IA open source sous-jacente
La percée clé de la technologie de cryptage réside dans le mécanisme de "propriété", rendant ainsi possible les projets de logiciels open source à haute ressource. Il résout le problème des ressources de l'IA open source en incitant les fournisseurs potentiels de ressources à participer au réseau, plutôt que de laisser les contributeurs open source assumer ces coûts de ressources à l'avance.
Bitcoin is a very good example. As the earliest encrypted project, Bitcoin is a completely open-source software project, and its code has been open from the beginning. However, the code itself is not the key to Bitcoin. Simply downloading and running the Bitcoin node software to create a blockchain locally does not make sense in practice. Only when the calculation volume of mining blocks exceeds the computing power of any single contributor can the true value of the software be reflected: maintaining a decentralized, uncontrolled ledger. Similar to basic open source AI, Bitcoin is also an open source project that requires resources beyond individual capabilities. Although the reasons for the demand for computing resources are different—Bitcoin requires computing resources to ensure that the network is tamper-proof, and basic AI requires computing resources to optimize and iterate models—the common point is that they both rely on resources beyond individual capabilities.
Le « secret » de Bitcoin, ainsi que de tout autre réseau cryptographique, pour pouvoir inciter les participants à contribuer à des projets de logiciels open source est de fournir la propriété du réseau par le biais de jetons. Comme indiqué dans la philosophie fondatrice de Jesse écrite pour Variant en 2020, la propriété incite fortement les fournisseurs de ressources à être prêts à fournir des ressources en échange de gains potentiels dans le réseau. Ce mécanisme est similaire à la façon dont les startups s’attaquent au sous-financement des entreprises en phase de démarrage par le biais d’un « capital de sueur » : en payant les employés en phase de démarrage (par exemple, les fondateurs) principalement sous la forme de la propriété de l’entreprise, les startups sont en mesure d’attirer une main-d’œuvre qu’elles ne pourraient pas se permettre autrement. La cryptographie élargit le concept d'« équité de la sueur » en se concentrant sur les contributeurs de temps aux fournisseurs de ressources. En conséquence, Variant se concentre sur l’investissement dans des projets qui tirent parti des mécanismes de propriété pour créer des effets de réseau, tels que Uniswap, Morpho et World.
Si nous voulons que l'IA open source devienne réalité, le mécanisme de propriété implémenté par la technologie de cryptage est la clé pour résoudre le problème des ressources. Ce mécanisme permet aux chercheurs de contribuer librement leurs idées de conception de modèle à des projets open source, car les ressources nécessaires à la réalisation de ces idées seront prises en charge par les fournisseurs de ressources, qui recevront en retour une partie de la propriété du projet, au lieu de demander aux chercheurs de supporter eux-mêmes les coûts initiaux élevés. Dans l'IA open source, la propriété peut revêtir différentes formes, mais l'une des plus attendues est la propriété du modèle lui-même, qui est également la solution proposée par Pluralis.
L’approche proposée par Pluralis est connue sous le nom de Protocol Models. Dans ce modèle, le fournisseur de ressources de calcul peut contribuer à la puissance de calcul pour entraîner un modèle open source spécifique et ainsi recevoir une propriété partielle des revenus d’inférence futurs de ce modèle. Étant donné que cette propriété est liée à un modèle spécifique et que sa valeur est basée sur les revenus d’inférence du modèle, les fournisseurs de ressources de calcul sont incités à choisir le modèle optimal à entraîner sans falsifier les données d’apprentissage (car la fourniture d’une formation inutile réduit directement la valeur attendue des revenus d’inférence futurs). Cependant, une question clé est la suivante : comment Pluralis assure-t-il la sécurité de propriété si le processus d’apprentissage nécessite que les poids du modèle soient envoyés au fournisseur de calcul ? La réponse réside dans l’utilisation du parallélisme de modèle pour distribuer des partitions de modèle à différents workers. Une caractéristique importante des réseaux neuronaux est que même si seule une infime fraction des poids du modèle est connue, le calculateur peut toujours participer à l’entraînement, ce qui garantit que l’ensemble complet des poids ne peut pas être extrait. De plus, étant donné que de nombreux modèles différents sont entraînés en même temps sur la plateforme Pluralis, l’entraîneur sera confronté à un grand nombre de jeux de poids différents, ce qui rend extrêmement difficile la reconstruction du modèle complet.
Le concept central des modèles de protocole est que ces modèles peuvent être entraînés et utilisés, mais ne peuvent pas être extraits intégralement du protocole (à moins que les ressources nécessaires pour former les modèles à partir de zéro ne dépassent les capacités de calcul utilisées). Ce mécanisme résout le problème souvent soulevé par les critiques de l'IA open source selon lequel les concurrents fermés pourraient voler les fruits du travail des projets open source.
Pourquoi la technologie de cryptage + open source = une meilleure IA
Au début de l'article, j'ai souligné les problèmes éthiques et normatifs de l'IA fermée en analysant le contrôle exercé par les grandes entreprises technologiques sur l'IA. Cependant, dans une ère d'impuissance en ligne, je crains que cet argument puisse ne pas susciter l'adhésion de la majorité des lecteurs. Par conséquent, je souhaite présenter deux raisons basées sur les effets concrets pour expliquer pourquoi l'IA open source soutenue par la technologie de cryptage peut réellement apporter une meilleure IA.
Tout d'abord, l'intégration de la technologie de cryptage avec l'IA open source peut permettre de coordonner davantage de ressources, ce qui favorise le développement des modèles de base de la prochaine génération. Des études montrent que l'augmentation de la puissance de calcul et des ressources de données contribue à améliorer les performances des modèles, c'est pourquoi la taille des modèles de base ne cesse de croître. Le Bitcoin nous a montré le potentiel de la combinaison du logiciel open source et de la technologie de cryptage en termes de puissance de calcul. Il est devenu le réseau de calcul le plus grand et le plus puissant au monde, surpassant largement les ressources de calcul en nuage détenues par les grandes entreprises technologiques. La particularité de la technologie de cryptage réside dans sa capacité à transformer une concurrence isolée en une compétition coopérative. En incitant les fournisseurs de ressources à contribuer à la résolution de problèmes communs plutôt que de travailler en solitaire et de dupliquer les efforts, le réseau de cryptage permet une utilisation efficace des ressources. Grâce à l'IA open source basée sur la technologie de cryptage, il sera possible de tirer parti des ressources de calcul et de données mondiales pour construire des modèles dépassant largement ceux de l'IA fermée. Par exemple, la société Hyperbolic a déjà démontré le potentiel de ce modèle. Ils permettent à quiconque de louer des GPU à moindre coût grâce à un marché ouvert, exploitant ainsi pleinement les ressources de calcul distribué.
Ensuite, la combinaison de la technologie de cryptage et de l'IA open source va accélérer l'innovation. Cela est dû au fait que, une fois le problème des ressources résolu, la recherche en apprentissage automatique peut retrouver sa nature ouverte, hautement itérative et innovante. Avant l'apparition des modèles linguistiques de grande envergure (LLM), les chercheurs en apprentissage automatique publiaient généralement publiquement leurs modèles et leurs schémas de conception reproductibles. Ces modèles utilisent généralement des ensembles de données open source et ont des exigences de calcul relativement faibles, ce qui permet aux chercheurs de les optimiser et de les innover en permanence. C'est ce processus itératif ouvert qui a donné naissance à de nombreuses avancées dans le domaine de la modélisation séquentielle, telles que les réseaux neuronaux récurrents (RNN), les réseaux de mémoire à court et long terme (LSTM) et les mécanismes d'attention, rendant finalement possible l'architecture du modèle Transformer. Cependant, cette manière ouverte de mener des recherches a changé après le lancement de GPT-3. OpenAI a démontré avec succès, grâce à GPT-3 et ChatGPT, que tant que suffisamment de ressources de calcul et de données sont investies, il est possible de former de grands modèles linguistiques dotés de capacités de compréhension du langage. Cette tendance a entraîné une forte hausse du seuil des ressources, excluant progressivement le monde universitaire, tandis que les grandes entreprises technologiques ne publient plus leurs architectures de modèles pour maintenir leur avantage concurrentiel. Cette situation limite notre capacité à promouvoir les technologies les plus avancées en matière d'IA.
L'IA open source basée sur la technologie de cryptage peut changer cette situation. Il permet aux chercheurs de faire une nouvelle itération des modèles de pointe et de découvrir le "prochain Transformer". Cette combinaison résout non seulement le problème des ressources, mais réactive également l'innovation dans le domaine de l'apprentissage automatique, ouvrant ainsi de nouvelles perspectives pour l'avenir de l'IA.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Variant Investisseur : Les défis et les percées de l'IA Open Source, pourquoi la technologie de chiffrement est-elle le dernier morceau du puzzle ?
Auteur : Daniel Barabander
Compilé par TechFlow de DeepSea
Résumé succinct
Le développement de l'IA de base est actuellement dominé par quelques entreprises technologiques, ce qui présente des caractéristiques de fermeture et de manque de concurrence.
Bien que le développement de logiciels open source soit une solution potentielle, l'IA de base ne peut pas fonctionner comme des projets open source traditionnels (comme Linux) en raison d'un "problème de ressources" : les contributeurs open source doivent non seulement investir du temps, mais aussi assumer des coûts de calcul et de données qui dépassent leurs capacités personnelles.
La technologie de cryptage, en incitant les fournisseurs de ressources à participer à des projets d'IA open source de base, pourrait résoudre ce problème de ressources.
La combinaison de l'IA open source et de la technologie de chiffrement peut prendre en charge le développement de modèles à plus grande échelle, stimuler plus d'innovation et créer des systèmes d'IA plus avancés.
Introduction
Selon une enquête menée par le Pew Research Center en 2024, 64 % des Américains estiment que les médias sociaux ont un impact plus négatif que positif sur le pays ; 78 % estiment que les entreprises de médias sociaux ont trop de pouvoir et d'influence en politique ; 83 % pensent que ces plateformes sont susceptibles de censurer délibérément les points de vue politiques avec lesquels elles ne sont pas d'accord. Le mécontentement à l'égard des médias sociaux est devenu presque un consensus rare dans la société américaine.
Si l’on regarde l’évolution des médias sociaux au cours des 20 dernières années, cette situation semble prédestinée. L’histoire n’est pas compliquée : une poignée de grandes entreprises technologiques ont attiré l’attention des utilisateurs et, plus important encore, des données des utilisateurs. Malgré les espoirs initiaux pour les données ouvertes, les entreprises ont rapidement changé de stratégie, utilisant les données pour créer des effets de réseau incassables et fermer les accès extérieurs. Le résultat est la situation actuelle : moins de 10 grandes entreprises technologiques dominent l’industrie des médias sociaux, créant un paysage « oligopolistique ». Comme le statu quo leur est extrêmement favorable, ces entreprises sont peu incitées à changer. Ce modèle est fermé et manque de concurrence.
Aujourd'hui, la trajectoire de développement de la technologie de l'IA semble répéter cette scène, mais son impact est encore plus profond. Quelques sociétés technologiques ont construit des modèles d'IA de base en contrôlant les ressources GPU et les données, et ont fermé l'accès à ces modèles. Pour les nouveaux venus sans des milliards de dollars de financement, il est presque impossible de développer un modèle compétitif. En effet, le coût de formation d'un simple modèle de base nécessite des milliards de dollars, et les sociétés de médias sociaux qui ont bénéficié de la dernière vague technologique utilisent leur contrôle exclusif sur les données des utilisateurs pour développer des modèles inaccessibles aux concurrents. Nous sommes en train de répéter les erreurs des médias sociaux et de nous diriger vers un monde de l'IA fermé et non concurrentiel. Si cette tendance se poursuit, quelques sociétés technologiques auront un contrôle illimité sur l'accès à l'information et aux opportunités.
IA open source et "problème des ressources"
Si nous ne voulons pas voir un monde de l'IA fermé, quelles sont nos options? La réponse est évidente: développer les modèles de base en tant que projets de logiciels open source. Dans l'histoire, de nombreux projets open source ont réussi à construire les logiciels de base sur lesquels nous comptons au quotidien. Par exemple, le succès de Linux prouve que même des logiciels centraux tels que les systèmes d'exploitation peuvent être développés de manière open source. Alors, pourquoi pas les LLM (grands modèles de langage) ?
Cependant, les contraintes particulières auxquelles sont confrontés les modèles d'IA de base les rendent différents des logiciels traditionnels, ce qui affaiblit considérablement leur faisabilité en tant que projets open source traditionnels. En particulier, les modèles d'IA de base nécessitent d'énormes ressources de calcul et de données, bien au-delà des capacités individuelles. Contrairement aux projets open source traditionnels qui ne dépendent que du don de temps des gens, l'IA open source exige également que les gens fassent don de leur puissance de calcul et de leurs ressources de données, ce qui pose un «problème de ressources».
Prenons le modèle LLaMa de Meta comme exemple pour mieux comprendre ce problème de ressources. Contrairement à des concurrents tels que OpenAI et Google, Meta ne cache pas son modèle derrière une API payante, mais met à disposition les poids de LLaMa en libre accès pour toute personne (avec certaines restrictions). Ces poids contiennent les connaissances acquises par le modèle lors de l'entraînement chez Meta et sont indispensables pour exécuter le modèle. En possédant ces poids, les utilisateurs peuvent affiner le modèle ou utiliser les sorties du modèle comme entrées pour un nouveau modèle.
Bien que la sortie de LLaMa par Meta mérite d’être reconnue, elle ne compte pas comme un véritable projet de logiciel open source. En coulisses, Meta contrôle le processus d’entraînement, en s’appuyant sur ses propres ressources informatiques, données et décisions, et en décidant unilatéralement du moment où le modèle doit être mis à la disposition du public. Meta n’invite pas de chercheurs ou de développeurs indépendants à participer à des collaborations communautaires, car les ressources nécessaires pour entraîner ou réentraîner les modèles dépassent de loin les capacités de l’individu moyen. Ces ressources comprennent des dizaines de milliers de GPU hautes performances, des centres de données pour stocker ces GPU, des installations de refroidissement sophistiquées et des milliards de jetons (unités de données textuelles requises pour l’entraînement du modèle) pour l’entraînement. Comme l’indique le rapport 2024 AI Index de Stanford, « la forte augmentation des coûts de formation exclut effectivement les universités, qui ont traditionnellement été des moteurs de la recherche sur l’IA, du développement de modèles fondamentaux de premier plan ». Par exemple, Sam Altman a mentionné qu’il en coûte jusqu’à 100 millions de dollars pour former GPT-4, et cela n’inclut même pas les dépenses d’investissement pour le matériel. En outre, les dépenses d’investissement de Meta ont augmenté de 2,1 milliards de dollars au deuxième trimestre 2024 par rapport à la même période en 2023, principalement pour les serveurs, les centres de données et l’infrastructure réseau liés à l’entraînement des modèles d’IA. Par conséquent, bien que les contributeurs de la communauté LLaMa aient la capacité technique d’améliorer l’architecture du modèle, ils n’ont pas les ressources nécessaires pour mettre en œuvre ces améliorations.
En résumé, contrairement aux projets de logiciels open source traditionnels, les projets d'IA open source exigent non seulement des contributeurs qu'ils investissent du temps, mais aussi qu'ils assument des coûts élevés en termes de calcul et de données. Il n'est pas réaliste de compter uniquement sur la bonne volonté et l'esprit bénévole pour motiver suffisamment de fournisseurs de ressources. Ils ont besoin de mécanismes d'incitation supplémentaires. Prenons l'exemple du modèle linguistique open source BLOOM, qui regroupe un ensemble de modèles avec 176 milliards de paramètres, résultat des efforts de 1000 chercheurs bénévoles provenant de plus de 70 pays et de plus de 250 institutions. Bien que le succès de BLOOM soit admirable (je le soutiens pleinement), il a fallu un an pour coordonner une seule session de formation, avec un financement de 3 millions d'euros fourni par un institut de recherche français (sans compter les dépenses en capital pour les supercalculateurs utilisés pour entraîner le modèle). Il est trop fastidieux de dépendre d'un nouveau cycle de financement pour coordonner et itérer le processus de BLOOM, ce qui ne peut rivaliser avec la vitesse de développement des grands laboratoires technologiques. Plus de deux ans se sont écoulés depuis la publication de BLOOM, et nous n'avons pas encore entendu parler de l'équipe développant de nouveaux modèles ultérieurs.
Pour rendre l'IA open source possible, nous devons trouver un moyen d'encourager les fournisseurs de ressources à contribuer de leur puissance de calcul et de leurs ressources de données, au lieu de laisser les contributeurs open source assumer ces coûts eux-mêmes.
Pourquoi la cryptographie peut résoudre le « problème des ressources » de l’IA open source sous-jacente
La percée clé de la technologie de cryptage réside dans le mécanisme de "propriété", rendant ainsi possible les projets de logiciels open source à haute ressource. Il résout le problème des ressources de l'IA open source en incitant les fournisseurs potentiels de ressources à participer au réseau, plutôt que de laisser les contributeurs open source assumer ces coûts de ressources à l'avance.
Bitcoin is a very good example. As the earliest encrypted project, Bitcoin is a completely open-source software project, and its code has been open from the beginning. However, the code itself is not the key to Bitcoin. Simply downloading and running the Bitcoin node software to create a blockchain locally does not make sense in practice. Only when the calculation volume of mining blocks exceeds the computing power of any single contributor can the true value of the software be reflected: maintaining a decentralized, uncontrolled ledger. Similar to basic open source AI, Bitcoin is also an open source project that requires resources beyond individual capabilities. Although the reasons for the demand for computing resources are different—Bitcoin requires computing resources to ensure that the network is tamper-proof, and basic AI requires computing resources to optimize and iterate models—the common point is that they both rely on resources beyond individual capabilities.
Le « secret » de Bitcoin, ainsi que de tout autre réseau cryptographique, pour pouvoir inciter les participants à contribuer à des projets de logiciels open source est de fournir la propriété du réseau par le biais de jetons. Comme indiqué dans la philosophie fondatrice de Jesse écrite pour Variant en 2020, la propriété incite fortement les fournisseurs de ressources à être prêts à fournir des ressources en échange de gains potentiels dans le réseau. Ce mécanisme est similaire à la façon dont les startups s’attaquent au sous-financement des entreprises en phase de démarrage par le biais d’un « capital de sueur » : en payant les employés en phase de démarrage (par exemple, les fondateurs) principalement sous la forme de la propriété de l’entreprise, les startups sont en mesure d’attirer une main-d’œuvre qu’elles ne pourraient pas se permettre autrement. La cryptographie élargit le concept d'« équité de la sueur » en se concentrant sur les contributeurs de temps aux fournisseurs de ressources. En conséquence, Variant se concentre sur l’investissement dans des projets qui tirent parti des mécanismes de propriété pour créer des effets de réseau, tels que Uniswap, Morpho et World.
Si nous voulons que l'IA open source devienne réalité, le mécanisme de propriété implémenté par la technologie de cryptage est la clé pour résoudre le problème des ressources. Ce mécanisme permet aux chercheurs de contribuer librement leurs idées de conception de modèle à des projets open source, car les ressources nécessaires à la réalisation de ces idées seront prises en charge par les fournisseurs de ressources, qui recevront en retour une partie de la propriété du projet, au lieu de demander aux chercheurs de supporter eux-mêmes les coûts initiaux élevés. Dans l'IA open source, la propriété peut revêtir différentes formes, mais l'une des plus attendues est la propriété du modèle lui-même, qui est également la solution proposée par Pluralis.
L’approche proposée par Pluralis est connue sous le nom de Protocol Models. Dans ce modèle, le fournisseur de ressources de calcul peut contribuer à la puissance de calcul pour entraîner un modèle open source spécifique et ainsi recevoir une propriété partielle des revenus d’inférence futurs de ce modèle. Étant donné que cette propriété est liée à un modèle spécifique et que sa valeur est basée sur les revenus d’inférence du modèle, les fournisseurs de ressources de calcul sont incités à choisir le modèle optimal à entraîner sans falsifier les données d’apprentissage (car la fourniture d’une formation inutile réduit directement la valeur attendue des revenus d’inférence futurs). Cependant, une question clé est la suivante : comment Pluralis assure-t-il la sécurité de propriété si le processus d’apprentissage nécessite que les poids du modèle soient envoyés au fournisseur de calcul ? La réponse réside dans l’utilisation du parallélisme de modèle pour distribuer des partitions de modèle à différents workers. Une caractéristique importante des réseaux neuronaux est que même si seule une infime fraction des poids du modèle est connue, le calculateur peut toujours participer à l’entraînement, ce qui garantit que l’ensemble complet des poids ne peut pas être extrait. De plus, étant donné que de nombreux modèles différents sont entraînés en même temps sur la plateforme Pluralis, l’entraîneur sera confronté à un grand nombre de jeux de poids différents, ce qui rend extrêmement difficile la reconstruction du modèle complet.
Le concept central des modèles de protocole est que ces modèles peuvent être entraînés et utilisés, mais ne peuvent pas être extraits intégralement du protocole (à moins que les ressources nécessaires pour former les modèles à partir de zéro ne dépassent les capacités de calcul utilisées). Ce mécanisme résout le problème souvent soulevé par les critiques de l'IA open source selon lequel les concurrents fermés pourraient voler les fruits du travail des projets open source.
Pourquoi la technologie de cryptage + open source = une meilleure IA
Au début de l'article, j'ai souligné les problèmes éthiques et normatifs de l'IA fermée en analysant le contrôle exercé par les grandes entreprises technologiques sur l'IA. Cependant, dans une ère d'impuissance en ligne, je crains que cet argument puisse ne pas susciter l'adhésion de la majorité des lecteurs. Par conséquent, je souhaite présenter deux raisons basées sur les effets concrets pour expliquer pourquoi l'IA open source soutenue par la technologie de cryptage peut réellement apporter une meilleure IA.
Tout d'abord, l'intégration de la technologie de cryptage avec l'IA open source peut permettre de coordonner davantage de ressources, ce qui favorise le développement des modèles de base de la prochaine génération. Des études montrent que l'augmentation de la puissance de calcul et des ressources de données contribue à améliorer les performances des modèles, c'est pourquoi la taille des modèles de base ne cesse de croître. Le Bitcoin nous a montré le potentiel de la combinaison du logiciel open source et de la technologie de cryptage en termes de puissance de calcul. Il est devenu le réseau de calcul le plus grand et le plus puissant au monde, surpassant largement les ressources de calcul en nuage détenues par les grandes entreprises technologiques. La particularité de la technologie de cryptage réside dans sa capacité à transformer une concurrence isolée en une compétition coopérative. En incitant les fournisseurs de ressources à contribuer à la résolution de problèmes communs plutôt que de travailler en solitaire et de dupliquer les efforts, le réseau de cryptage permet une utilisation efficace des ressources. Grâce à l'IA open source basée sur la technologie de cryptage, il sera possible de tirer parti des ressources de calcul et de données mondiales pour construire des modèles dépassant largement ceux de l'IA fermée. Par exemple, la société Hyperbolic a déjà démontré le potentiel de ce modèle. Ils permettent à quiconque de louer des GPU à moindre coût grâce à un marché ouvert, exploitant ainsi pleinement les ressources de calcul distribué.
Ensuite, la combinaison de la technologie de cryptage et de l'IA open source va accélérer l'innovation. Cela est dû au fait que, une fois le problème des ressources résolu, la recherche en apprentissage automatique peut retrouver sa nature ouverte, hautement itérative et innovante. Avant l'apparition des modèles linguistiques de grande envergure (LLM), les chercheurs en apprentissage automatique publiaient généralement publiquement leurs modèles et leurs schémas de conception reproductibles. Ces modèles utilisent généralement des ensembles de données open source et ont des exigences de calcul relativement faibles, ce qui permet aux chercheurs de les optimiser et de les innover en permanence. C'est ce processus itératif ouvert qui a donné naissance à de nombreuses avancées dans le domaine de la modélisation séquentielle, telles que les réseaux neuronaux récurrents (RNN), les réseaux de mémoire à court et long terme (LSTM) et les mécanismes d'attention, rendant finalement possible l'architecture du modèle Transformer. Cependant, cette manière ouverte de mener des recherches a changé après le lancement de GPT-3. OpenAI a démontré avec succès, grâce à GPT-3 et ChatGPT, que tant que suffisamment de ressources de calcul et de données sont investies, il est possible de former de grands modèles linguistiques dotés de capacités de compréhension du langage. Cette tendance a entraîné une forte hausse du seuil des ressources, excluant progressivement le monde universitaire, tandis que les grandes entreprises technologiques ne publient plus leurs architectures de modèles pour maintenir leur avantage concurrentiel. Cette situation limite notre capacité à promouvoir les technologies les plus avancées en matière d'IA.
L'IA open source basée sur la technologie de cryptage peut changer cette situation. Il permet aux chercheurs de faire une nouvelle itération des modèles de pointe et de découvrir le "prochain Transformer". Cette combinaison résout non seulement le problème des ressources, mais réactive également l'innovation dans le domaine de l'apprentissage automatique, ouvrant ainsi de nouvelles perspectives pour l'avenir de l'IA.