Une autre approche explorée dans de nombreux cas d'utilisation consiste à faire en sorte qu'un mécanisme simple devienne une règle de jeu, permettant à l'IA de devenir un joueur.
Titre original : « L’IA comme moteur, l’humain comme volant"
Écrit par : Vitalik, fondateur d'Ethereum
Compilé par Baishui, Jinse Finance
Si vous demandez aux gens ce qu'ils aiment dans la structure démocratique, que ce soit dans le gouvernement, sur le lieu de travail ou dans les DAO basés sur la blockchain, vous entendrez souvent les mêmes arguments : ils évitent la concentration du pouvoir, ils offrent des garanties solides aux utilisateurs car personne ne peut modifier complètement la direction du système à sa guise, et ils peuvent prendre des décisions de meilleure qualité en recueillant les points de vue et la sagesse de nombreux individus.
Si vous demandez aux gens ce qu’ils n’aiment pas dans la structure démocratique, ils donnent souvent les mêmes plaintes : l’électeur moyen n’est pas assez sophistiqué parce que chaque électeur n’a qu’une petite chance d’influencer le résultat, très peu d’électeurs mettent une réflexion de qualité dans leur prise de décision, et vous obtenez souvent un faible engagement (ce qui rend le système vulnérable aux attaques) ou une centralisation de facto parce que tout le monde fait par défaut confiance et copie les points de vue d’un influenceur.
Cet article vise à explorer un paradigme qui pourrait utiliser l'IA pour bénéficier de structures démocratiques sans effets négatifs. "L'IA est le moteur, l'homme est le volant". Les humains ne fournissent que peu d'informations au système, peut-être seulement quelques centaines, mais toutes sont soigneusement réfléchies et de haute qualité. L'IA considère ces données comme une "fonction objectif" et prend de nombreuses décisions sans relâche pour atteindre ces objectifs. En particulier, cet article explorera une question intéressante : pouvons-nous le faire sans placer une seule IA au centre, mais en nous appuyant sur un marché ouvert compétitif où n'importe quelle IA (ou un hybride homme-machine) peut participer librement ?
Table des matières
Pourquoi ne pas laisser directement une IA prendre le contrôle ?
Futarchy
Distillation de la faculté de jugement humaine
Financement profond
Augmentation de la confidentialité
Avantages de la conception du moteur + volant
Pourquoi ne pas laisser directement une intelligence artificielle s'en charger ?
La manière la plus simple d'intégrer les préférences humaines dans un mécanisme basé sur l'IA est de créer un modèle IA et de permettre aux humains d'y entrer leurs préférences d'une manière ou d'une autre. Il existe des moyens simples d'y parvenir : il vous suffit de placer un fichier texte contenant une liste d'instructions humaines dans les invites du système. Ensuite, vous pouvez donner à l'IA l'accès à Internet en utilisant l'un des nombreux "cadres d'IA agentielle", lui fournir les clés de vos actifs et de vos profils de médias sociaux, et vous avez terminé.
Après plusieurs itérations, cela pourrait suffire à répondre aux besoins de nombreux cas d'utilisation. Je m'attends pleinement à ce que dans un avenir proche, nous voyions de nombreuses structures impliquant des instructions données par des groupes de lecture AI (voire la lecture en temps réel des discussions de groupe) et agissions en conséquence.
Cette structure n'est pas idéale en tant que mécanisme de gouvernance pour une institution à long terme. Une propriété précieuse qu'une institution à long terme devrait avoir est la neutralité de confiance. Dans mon post introduisant ce concept, j'ai énuméré quatre propriétés précieuses de la neutralité de confiance.
Ne pas écrire des personnes spécifiques ou des résultats spécifiques dans le mécanisme
Exécution open source et vérifiable publiquement
Garder simple
Ne changez pas souvent
Le LLM (ou agent AI) satisfait 0/4. Le modèle code inévitablement un grand nombre de personnes spécifiques et de préférences de résultats au cours de son entraînement. Parfois, cela conduit à des orientations surprenantes en matière de préférences en matière d’IA, par exemple, en regardant une étude récente montrant que les grands LLM accordent plus d’importance à la vie au Pakistan qu’à la vie aux États-Unis ( !!). ）。 Il peut être open-weighted, mais c’est loin d’être open source ; Nous ne savons pas vraiment quel diable se cache dans les profondeurs du modèle. C’est le contraire de simple : la complexité de Kolmogorov d’un LLM est de dizaines de milliards de bits, à peu près équivalente à toutes les lois américaines (fédérale + étatique + locale) réunies. Et parce que l’IA évolue si rapidement, vous devez la changer tous les trois mois.
Pour cette raison, une autre approche que je préférerais explorer dans de nombreux cas d’utilisation est de faire en sorte qu’une mécanique simple soit les règles du jeu et que l’IA soit le joueur. C’est cette perspicacité qui rend le marché si efficace : les règles sont un système de droits de propriété relativement stupide, les affaires marginales sont tranchées par un système judiciaire qui accumule et ajuste lentement les précédents, et toute l’intelligence provient d’entrepreneurs opérant « à la marge ».
!
Un seul "joueur" de jeu peut être un groupe LLM, interagir mutuellement et appeler divers services Internet, diverses combinaisons IA + humaines et de nombreuses autres constructions ; en tant que concepteur de mécanismes, vous n'avez pas besoin de savoir. L'objectif idéal est d'avoir un mécanisme pouvant fonctionner automatiquement - s'il vise à choisir ce qui doit être financé, il devrait ressembler autant que possible aux récompenses de bloc Bitcoin ou Ethereum.
Les avantages de cette approche sont les suivants :
Il évite d’incorporer un seul modèle dans le mécanisme ; Au lieu de cela, vous obtenez un marché ouvert composé de nombreux acteurs et architectures différents, qui ont tous leurs propres biais. Les modèles ouverts, les modèles fermés, les groupes d’agents, les hybrides humain+IA, les robots, les singes infinis, etc. sont tous des jeux équitables ; Le mécanisme n’est discriminatoire à l’égard de personne.
Ce mécanisme est open source. Bien que les joueurs ne le soient pas, le jeu l'est - et c'est un modèle déjà largement compris (par exemple, les partis politiques et les marchés fonctionnent de cette manière).
Le mécanisme est très simple, donc il y a relativement peu de moyens pour les concepteurs du mécanisme d'incorporer leurs propres préjugés dans la conception.
Le mécanisme ne changera pas, même si l’architecture des participants sous-jacents doit être repensée tous les trois mois jusqu’à la singularité.
L’objectif du mécanisme de mentorat est de refléter fidèlement les objectifs fondamentaux des participants. Il n’a besoin de fournir qu’une petite quantité d’informations, mais il doit s’agir d’informations de haute qualité.
Vous pouvez considérer ce mécanisme comme tirant parti de l’asymétrie entre la proposition d’une réponse et sa validation. C’est similaire au Sudoku qui est difficile à résoudre, mais il est facile de vérifier que la solution est correcte. Vous (i) créer un marché ouvert pour que les joueurs agissent en tant que « résolveurs de problèmes », puis (ii) maintenir un mécanisme géré par un humain pour effectuer la tâche beaucoup plus simple de validation de la solution proposée.
Futarchy
Le futarchie a été initialement proposé par Robin Hanson comme "voter pour les valeurs, mais parier sur les croyances". Le mécanisme de vote consiste à choisir un ensemble d'objectifs (qui peuvent être n'importe quels objectifs tant qu'ils sont mesurables), puis à les combiner en une mesure M. Lorsque vous devez prendre une décision (pour simplifier, supposons que ce soit OUI/NON), vous créez un marché conditionnel : vous demandez aux gens de parier (i) s'ils choisiront OUI ou NON, (ii) si OUI est choisi, la valeur de M, sinon zéro, (iii) si NON est choisi, la valeur de M, sinon zéro. Avec ces trois variables, vous pouvez déterminer si le marché estime que OUI ou NON est plus favorable à la valeur de M.
Le 'prix des actions de la société' (ou pour les crypto-monnaies, le prix des jetons) est l'indicateur le plus couramment cité car il est facile à comprendre et à mesurer, mais ce mécanisme peut prendre en charge plusieurs autres indicateurs : utilisateurs actifs par mois, médiane du bonheur auto-déclaré de certains groupes, certains indicateurs quantifiables de décentralisation, etc.
Futarchy a été initialement inventé avant l'ère de l'intelligence artificielle. Cependant, Futarchy correspond très naturellement au paradigme décrit dans la section précédente, « solveurs complexes, validateurs simples », et les traders dans Futarchy peuvent également être des intelligences artificielles (ou une combinaison d'humains et d'intelligences artificielles). Le rôle du « solveur » (traders de marché prédictifs) est de déterminer comment chaque proposition de plan affectera la valeur des indicateurs futurs. C'est difficile. Si le solveur a raison, il gagne de l'argent, s'il a tort, il en perd. Les validateurs (ceux qui votent sur les indicateurs, ajustent les indicateurs s'ils détectent une « manipulation » ou s'ils deviennent obsolètes, et déterminent la valeur réelle de l'indicateur à un moment futur) n'ont besoin de répondre qu'à une question plus simple : « quelle est la valeur actuelle de cet indicateur ? »
Pouvoir de distillation de jugement humain
La distillation de la pensée humaine est un type de mécanisme dont le fonctionnement est le suivant. Il y a un grand nombre (pensez à : 100 millions) de questions à répondre. Des exemples naturels incluent :
Combien de crédit chaque personne dans cette liste devrait-elle recevoir pour sa contribution à un projet ou une tâche ?
Quels commentaires enfreignent les règles de la plateforme de médias sociaux (ou de la sous-communauté) ?
Quelles de ces adresses Ethereum données représentent des personnes réelles et uniques ?
Quels objets physiques contribuent positivement ou négativement à l'esthétique de leur environnement ?
Vous avez une équipe qui peut répondre à ces questions, mais au prix de dépenser beaucoup d’efforts pour chaque réponse. Vous ne demandez à l’équipe de répondre qu’à quelques questions (par exemple, s’il y a 1 million d’éléments dans la liste totale, l’équipe ne peut répondre qu’à 100 d’entre eux). Vous pouvez même poser une question indirecte à l’équipe : Ne demandez pas : « Quel pourcentage du crédit total d’Alice devrait-elle recevoir ? » Au lieu de cela, demandez-vous : « Alice ou Bob devraient-ils obtenir plus de crédit, et de combien ? » Lors de la conception d’un mécanisme de jury, vous pouvez réutiliser des mécanismes éprouvés dans le monde réel, tels que les comités de subvention, les tribunaux (pour déterminer la valeur des jugements), les évaluations et, bien sûr, les participants au jury eux-mêmes peuvent utiliser de nouveaux outils de recherche sur l’IA pour les aider à trouver des réponses.
Ensuite, vous autorisez n'importe qui à soumettre une liste de réponses numériques à l'ensemble du problème (par exemple, fournir une estimation de crédit pour chaque participant dans toute la liste). Les participants sont encouragés à utiliser l'intelligence artificielle pour accomplir cette tâche, mais ils peuvent utiliser n'importe quelle technologie : intelligence artificielle, interaction homme-machine, intelligence artificielle capable d'accéder à des recherches sur Internet et d'embaucher indépendamment d'autres humains ou d'autres travailleurs de l'intelligence artificielle, singe renforcé par la théorie du contrôle, etc.
Une fois que tous les fournisseurs de listes complètes et les jurés ont soumis leurs réponses, la liste complète sera examinée en fonction des réponses du jury, et une combinaison de la liste complète la plus compatible avec les réponses du jury sera choisie comme réponse finale.
Les mécanismes de jugement distillés des êtres humains diffèrent de ceux de la futarchie, mais il existe des similitudes importantes :
*Dans futarchy, les "solveurs" font des prédictions et les "vrais données" sur lesquelles ils se basent (pour récompenser ou punir les solveurs) sont les données de sortie de l'oracle, exploitées par un jury.
*Dans le jugement humain distillé, les 'calculateurs' fourniront des réponses à un grand nombre de questions, et leurs prévisions seront basées sur une petite partie des réponses de haute qualité fournies par le jury.
!
Un exemple de jouet pour la distribution de crédits basé sur le jugement humain, veuillez consulter le code Python ici. Le script vous demande de jouer le rôle d'un jury et contient une liste complète de réponses générées par l'IA (et humaines) déjà incluses dans le code. Le mécanisme identifie la combinaison linéaire de la liste complète la mieux adaptée aux réponses du jury. Dans ce cas, la combinaison gagnante est 0.199 * la réponse de Claude + 0.801 * la réponse de Deepseek ; cette combinaison est plus conforme aux réponses du jury que n'importe quel modèle individuel. Ces coefficients seront également la récompense accordée aux soumissionnaires.
Dans cet exemple de "défaite de Sauron", l'aspect "l'homme en tant que volant" se manifeste à deux endroits. Tout d'abord, chaque problème est traité avec un jugement humain de haute qualité, bien que cela utilise toujours un jury comme évaluateur de la performance "technocrate". Deuxièmement, il y a un mécanisme de vote implicite pour décider si "la défaite de Sauron" est un objectif correct (plutôt que, par exemple, essayer de s'allier avec Sauron, ou céder tous les territoires à l'est d'une rivière clé en guise de concession pacifique). Il existe également d'autres cas d'utilisation de jugement humain distillé, où la tâche du jury est plus directement axée sur les valeurs : par exemple, envisagez une plateforme de médias sociaux (ou une sous-communauté) décentralisée, où le travail du jury consiste à marquer les publications de forum sélectionnées au hasard comme conformes ou non conformes aux règles de la communauté.
Dans le paradigme du jugement humain de distillation, il existe des variables ouvertes :
Comment mener des échantillonnages ? Le rôle des soumetteurs de listes complètes est de fournir un grand nombre de réponses ; le rôle des jurés est de fournir des réponses de haute qualité. Nous devons sélectionner les jurés de manière à maximiser leur capacité à correspondre aux réponses des jurés, et choisir les questions pour les jurés de manière à ce que la capacité du modèle à correspondre aux réponses des jurés reflète au mieux sa performance globale. Certains facteurs à prendre en compte incluent :
Équilibre entre expertise et partialité : les jurés qualifiés se spécialisent généralement dans leur domaine, ce qui vous donne des contributions de meilleure qualité lorsqu'ils choisissent le contenu à évaluer. D'un autre côté, un trop grand choix peut entraîner des partialités (les jurés favorisant le contenu de personnes avec lesquelles ils sont liés) ou des lacunes dans l'échantillonnage (certains contenus ne sont pas évalués de manière systématique).
Félicia Goudhart: Il y aura du contenu qui tentera de "manipuler" les mécanismes d'intelligence artificielle, par exemple, les contributeurs généreront une grande quantité de code qui semble impressionnant mais qui est inutile. Cela signifie que le jury peut le détecter, mais les modèles d'intelligence artificielle statiques ne le feront pas à moins qu'ils ne s'efforcent de le faire. Une méthode possible pour détecter ce comportement est d'ajouter un mécanisme de défi, par lequel les individus peuvent signaler de telles tentatives, garantissant ainsi que le jury les examine (ce qui incitera les développeurs d'intelligence artificielle à s'assurer de les capturer correctement). Si le jury est d'accord, le rapporteur recevra une récompense, sinon il devra payer une amende.
Quelle fonction de classement utilisez-vous ? L’une des idées utilisées dans le projet pilote actuel de Deep Grant est de demander aux jurés : « A ou B devrait-il obtenir plus de crédit, et de combien ? » La fonction de notation est score(x) = sum((log(x[B]) - log(x[A]) - log(juror_ratio)) ** 2 pour (A, B, juré_ratio) dans jury_answers) : C’est-à-dire que pour chaque réponse du jury, il demande quelle est la distance entre le taux indiqué dans la liste complète et le taux fourni par le juré et ajoute une pénalité proportionnelle au carré de la distance (dans l’espace logarithmique). Cela montre qu’il y a beaucoup d’espace de conception pour les fonctions de notation, et que le choix de la fonction de notation est lié à votre choix des questions à poser à vos jurés.
Comment récompensez-vous les soumissionnaires de la liste complète ? Idéalement, vous souhaitez récompenser fréquemment plusieurs participants avec des récompenses non nulles pour éviter le mécanisme de monopole, mais vous souhaitez également satisfaire les propriétés suivantes : les participants ne peuvent pas augmenter leur récompense en soumettant plusieurs fois des ensembles de réponses identiques (ou légèrement modifiés). Une méthode prometteuse consiste à calculer directement la combinaison linéaire des listes complètes les plus adaptées au jury (avec des coefficients non négatifs et une somme égale à 1) et à utiliser ces mêmes coefficients pour diviser les récompenses. Il peut également y avoir d'autres méthodes.
En général, l'objectif est d'utiliser des mécanismes de jugement humain connus pour être efficaces, minimiser les préjugés et avoir fait leurs preuves au fil du temps (par exemple, imaginez comment le système judiciaire oppose les deux parties en conflit, ayant beaucoup d'informations mais étant biaisées, alors que les juges ont peu d'informations mais peuvent être impartiaux), et d'utiliser le marché ouvert de l'intelligence artificielle comme indicateur de prédiction raisonnablement haute fidélité et à très faible coût pour ces mécanismes (ce qui ressemble au fonctionnement du grand modèle de prédiction "distillé").
Financement profond
Le financement en profondeur consiste à appliquer le jugement distillé de l'humanité au problème de pondération sur le graphique de la question "Quel pourcentage du crédit de X appartient à Y ?".
Le moyen le plus simple est d'illustrer directement par un exemple :
Résultat de l’exemple du financement profond à deux niveaux : les origines des idées d’Ethereum. Consultez le code Python ici.
L'objectif ici est de répartir les honneurs pour les contributions philosophiques à Ethereum. Prenons un exemple :
Les tours de financement simulés affichés ici attribuent 20,5 % du mérite au mouvement cypherpunk et 9,2 % au progressisme technologique.
Dans chaque nœud, vous poserez une question : dans quelle mesure contribue-t-il de manière originale (et vaut-il la peine de se créditer) et dans quelle mesure est-il une recomposition d'influences amont ? Pour le mouvement cypherpunk, il est à 40 % nouveau et à 60 % dépendant.
Ensuite, vous pouvez voir l'impact en amont de ces nœuds : le libéralisme classique et l'anarchisme ont contribué à 17,3 % au mouvement cypherpunk, mais la démocratie directe suisse n'a obtenu que 5 %.
Notez cependant que le petit gouvernement libéral et l’anarchisme ont également inspiré la philosophie monétaire de Bitcoin, de sorte qu’ils ont influencé la philosophie d’Ethereum de deux manières.
Pour calculer la part totale de contribution du libertarianisme minarchiste et de l'anarchisme à Ethereum, vous devez multiplier les arêtes le long de chaque chemin, puis ajouter les chemins : 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Par conséquent, si vous deviez faire un don de 100 dollars pour récompenser tous ceux qui ont contribué à la philosophie d'Ethereum, selon ce tour de financement en profondeur simulé, les libertariens minarchistes et les anarchistes recevraient 4,66 dollars.
Cette approche est censée s’appliquer aux domaines où les travaux s’appuient sur des travaux antérieurs et présentent un degré élevé de clarté structurelle. Le milieu universitaire (pensez aux graphiques de citation) et les logiciels open source (pensez aux dépendances et aux forks de bibliothèques) en sont deux exemples naturels.
L'objectif d'un système de financement en profondeur bien fonctionnel est de créer et de maintenir un graphique global, où tout bailleur de fonds intéressé par le soutien d'un projet spécifique peut envoyer des fonds à une adresse représentant ce nœud, les fonds se propageant automatiquement en fonction du poids des arêtes du graphique vers leurs dépendances (et récursivement vers leurs dépendances, etc.).
Vous pouvez imaginer un protocole décentralisé utilisant un mécanisme de financement en profondeur intégré pour émettre ses jetons : la gouvernance décentralisée du protocole choisira un jury, qui fera fonctionner le mécanisme de financement en profondeur, car le protocole émettra automatiquement des jetons et les déposera dans un nœud correspondant à lui-même. Ce faisant, le protocole récompense de manière programmée tous ses contributeurs directs et indirects, rappelant comment Bitcoin ou Ethereum récompensent un type spécifique de contributeur (les mineurs). En influençant le poids des bords, le jury peut continuellement définir les types de contribution qu'il valorise. Ce mécanisme peut servir de solution décentralisée et durable à long terme pour le minage, la vente ou la distribution aérienne ponctuelle.
Augmenter la confidentialité
En général, pour faire le bon jugement sur le problème mentionné dans l'exemple ci-dessus, il est nécessaire d'avoir accès à des informations privées : les historiques de discussions internes de l'organisation, les informations soumises secrètement par les membres de la communauté, etc. L'un des avantages de "ne faire appel qu'à une seule IA", en particulier dans un environnement de petite envergure, est qu'il est plus facile pour une IA d'accéder à des informations que de rendre publiques ces informations à tout le monde.
Pour permettre aux jugements ou aux financements profonds des êtres humains distillés de jouer un rôle dans ces situations, nous pouvons essayer d'utiliser la cryptographie en permettant à l'IA d'accéder en toute sécurité aux informations privées. L'idée est d'utiliser des technologies telles que le calcul multipartite sécurisé (MPC), le chiffrement entièrement homomorphe (FHE), l'environnement d'exécution de confiance (TEE) ou des mécanismes similaires pour fournir des informations privées, mais uniquement si leur seule sortie est directement intégrée dans le mécanisme de "soumission de liste complète".
Si vous faites cela, vous devez restreindre l'ensemble du mécanisme à un modèle AI (et non à une combinaison d'humains ou d'IA + humains, car vous ne pouvez pas laisser les humains voir les données), et spécifique aux modèles fonctionnant sur certains substrats spécifiques (par exemple MPC, FHE, matériel de confiance). Une direction de recherche majeure consiste à trouver des versions pratiques suffisamment efficaces et significatives à court terme.
Les avantages de la conception du moteur + volant
Il y a de nombreux avantages prometteurs à une telle conception. De loin, l’avantage le plus important est qu’ils permettent de construire des DAO, donnant aux électeurs humains le contrôle de la direction, mais ils ne seront pas embourbés dans trop de décisions. Ils parviennent à un compromis où tout le monde n’a pas à prendre N décisions, mais ils ont le pouvoir d’aller au-delà de la simple prise de décision (comment les délégués travaillent habituellement) et de susciter des préférences riches qui sont difficiles à exprimer directement.
De plus, un tel mécanisme semble avoir une caractéristique de lissage incitatif. Ce que j’entends ici par « lissage incitatif » est une combinaison de deux facteurs :
Prolifération : Toute action prise par le mécanisme de vote n’aura pas d’impact disproportionné sur les intérêts d’un seul participant.
Le chaos : les liens entre les décisions de vote et leur impact sur les intérêts des participants sont plus complexes et difficiles à calculer.
Les termes obfuscation et diffusion sont ici tirés de la cryptographie, qui sont des propriétés clés de la sécurité des fonctions cryptographiques et de hachage.
Un bon exemple de lissage des incitations dans le monde réel d’aujourd’hui est l’État de droit : au lieu de prendre régulièrement des mesures sous la forme de « 200 millions de dollars pour l’entreprise d’Alice », « 100 millions de dollars pour l’entreprise de Bob » sur une base régulière, le sommet du gouvernement adopte des règles conçues pour être appliquées uniformément à un grand nombre de participants, qui sont ensuite interprétées par un autre groupe d’acteurs. Lorsque cette approche fonctionne, l’avantage est qu’elle réduit considérablement les avantages des pots-de-vin et d’autres formes de corruption. Lorsqu’elle est violée, ce qui arrive souvent dans la pratique, ces problèmes sont rapidement considérablement amplifiés.
L'IA deviendra évidemment une composante essentielle de l'avenir, inévitablement une composante essentielle de la gouvernance future. Cependant, si vous impliquez l'IA dans la gouvernance, il existe des risques évidents : l'IA est biaisée, elle peut être intentionnellement sabotée pendant le processus de formation, et le développement de l'IA évolue si rapidement que "laisser l'IA prendre le contrôle" pourrait en fait signifier "laisser les personnes responsables de la mise à niveau de l'IA prendre le contrôle". La distillation du jugement humain offre une voie alternative qui nous permet d'utiliser la puissance de l'IA de manière ouverte et libre sur le marché tout en maintenant le contrôle démocratique de l'humanité.
Un merci spécial à Devansh Mehta, Davide Crapis et Julian Zawistowski pour leurs retours et leurs révisions, ainsi qu'à Tina Zhen, Shaw Walters et d'autres pour les discussions.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Nouvel article de Vitalik : Un nouveau paradigme pour la gouvernance du futur « Moteur d’IA + Volant humain »
Titre original : « L’IA comme moteur, l’humain comme volant"
Écrit par : Vitalik, fondateur d'Ethereum
Compilé par Baishui, Jinse Finance
Si vous demandez aux gens ce qu'ils aiment dans la structure démocratique, que ce soit dans le gouvernement, sur le lieu de travail ou dans les DAO basés sur la blockchain, vous entendrez souvent les mêmes arguments : ils évitent la concentration du pouvoir, ils offrent des garanties solides aux utilisateurs car personne ne peut modifier complètement la direction du système à sa guise, et ils peuvent prendre des décisions de meilleure qualité en recueillant les points de vue et la sagesse de nombreux individus.
Si vous demandez aux gens ce qu’ils n’aiment pas dans la structure démocratique, ils donnent souvent les mêmes plaintes : l’électeur moyen n’est pas assez sophistiqué parce que chaque électeur n’a qu’une petite chance d’influencer le résultat, très peu d’électeurs mettent une réflexion de qualité dans leur prise de décision, et vous obtenez souvent un faible engagement (ce qui rend le système vulnérable aux attaques) ou une centralisation de facto parce que tout le monde fait par défaut confiance et copie les points de vue d’un influenceur.
Cet article vise à explorer un paradigme qui pourrait utiliser l'IA pour bénéficier de structures démocratiques sans effets négatifs. "L'IA est le moteur, l'homme est le volant". Les humains ne fournissent que peu d'informations au système, peut-être seulement quelques centaines, mais toutes sont soigneusement réfléchies et de haute qualité. L'IA considère ces données comme une "fonction objectif" et prend de nombreuses décisions sans relâche pour atteindre ces objectifs. En particulier, cet article explorera une question intéressante : pouvons-nous le faire sans placer une seule IA au centre, mais en nous appuyant sur un marché ouvert compétitif où n'importe quelle IA (ou un hybride homme-machine) peut participer librement ?
Table des matières
Pourquoi ne pas laisser directement une intelligence artificielle s'en charger ?
La manière la plus simple d'intégrer les préférences humaines dans un mécanisme basé sur l'IA est de créer un modèle IA et de permettre aux humains d'y entrer leurs préférences d'une manière ou d'une autre. Il existe des moyens simples d'y parvenir : il vous suffit de placer un fichier texte contenant une liste d'instructions humaines dans les invites du système. Ensuite, vous pouvez donner à l'IA l'accès à Internet en utilisant l'un des nombreux "cadres d'IA agentielle", lui fournir les clés de vos actifs et de vos profils de médias sociaux, et vous avez terminé.
Après plusieurs itérations, cela pourrait suffire à répondre aux besoins de nombreux cas d'utilisation. Je m'attends pleinement à ce que dans un avenir proche, nous voyions de nombreuses structures impliquant des instructions données par des groupes de lecture AI (voire la lecture en temps réel des discussions de groupe) et agissions en conséquence.
Cette structure n'est pas idéale en tant que mécanisme de gouvernance pour une institution à long terme. Une propriété précieuse qu'une institution à long terme devrait avoir est la neutralité de confiance. Dans mon post introduisant ce concept, j'ai énuméré quatre propriétés précieuses de la neutralité de confiance.
Le LLM (ou agent AI) satisfait 0/4. Le modèle code inévitablement un grand nombre de personnes spécifiques et de préférences de résultats au cours de son entraînement. Parfois, cela conduit à des orientations surprenantes en matière de préférences en matière d’IA, par exemple, en regardant une étude récente montrant que les grands LLM accordent plus d’importance à la vie au Pakistan qu’à la vie aux États-Unis ( !!). ）。 Il peut être open-weighted, mais c’est loin d’être open source ; Nous ne savons pas vraiment quel diable se cache dans les profondeurs du modèle. C’est le contraire de simple : la complexité de Kolmogorov d’un LLM est de dizaines de milliards de bits, à peu près équivalente à toutes les lois américaines (fédérale + étatique + locale) réunies. Et parce que l’IA évolue si rapidement, vous devez la changer tous les trois mois.
Pour cette raison, une autre approche que je préférerais explorer dans de nombreux cas d’utilisation est de faire en sorte qu’une mécanique simple soit les règles du jeu et que l’IA soit le joueur. C’est cette perspicacité qui rend le marché si efficace : les règles sont un système de droits de propriété relativement stupide, les affaires marginales sont tranchées par un système judiciaire qui accumule et ajuste lentement les précédents, et toute l’intelligence provient d’entrepreneurs opérant « à la marge ».
!
Un seul "joueur" de jeu peut être un groupe LLM, interagir mutuellement et appeler divers services Internet, diverses combinaisons IA + humaines et de nombreuses autres constructions ; en tant que concepteur de mécanismes, vous n'avez pas besoin de savoir. L'objectif idéal est d'avoir un mécanisme pouvant fonctionner automatiquement - s'il vise à choisir ce qui doit être financé, il devrait ressembler autant que possible aux récompenses de bloc Bitcoin ou Ethereum.
Les avantages de cette approche sont les suivants :
L’objectif du mécanisme de mentorat est de refléter fidèlement les objectifs fondamentaux des participants. Il n’a besoin de fournir qu’une petite quantité d’informations, mais il doit s’agir d’informations de haute qualité.
Vous pouvez considérer ce mécanisme comme tirant parti de l’asymétrie entre la proposition d’une réponse et sa validation. C’est similaire au Sudoku qui est difficile à résoudre, mais il est facile de vérifier que la solution est correcte. Vous (i) créer un marché ouvert pour que les joueurs agissent en tant que « résolveurs de problèmes », puis (ii) maintenir un mécanisme géré par un humain pour effectuer la tâche beaucoup plus simple de validation de la solution proposée.
Futarchy
Le futarchie a été initialement proposé par Robin Hanson comme "voter pour les valeurs, mais parier sur les croyances". Le mécanisme de vote consiste à choisir un ensemble d'objectifs (qui peuvent être n'importe quels objectifs tant qu'ils sont mesurables), puis à les combiner en une mesure M. Lorsque vous devez prendre une décision (pour simplifier, supposons que ce soit OUI/NON), vous créez un marché conditionnel : vous demandez aux gens de parier (i) s'ils choisiront OUI ou NON, (ii) si OUI est choisi, la valeur de M, sinon zéro, (iii) si NON est choisi, la valeur de M, sinon zéro. Avec ces trois variables, vous pouvez déterminer si le marché estime que OUI ou NON est plus favorable à la valeur de M.
Le 'prix des actions de la société' (ou pour les crypto-monnaies, le prix des jetons) est l'indicateur le plus couramment cité car il est facile à comprendre et à mesurer, mais ce mécanisme peut prendre en charge plusieurs autres indicateurs : utilisateurs actifs par mois, médiane du bonheur auto-déclaré de certains groupes, certains indicateurs quantifiables de décentralisation, etc.
Futarchy a été initialement inventé avant l'ère de l'intelligence artificielle. Cependant, Futarchy correspond très naturellement au paradigme décrit dans la section précédente, « solveurs complexes, validateurs simples », et les traders dans Futarchy peuvent également être des intelligences artificielles (ou une combinaison d'humains et d'intelligences artificielles). Le rôle du « solveur » (traders de marché prédictifs) est de déterminer comment chaque proposition de plan affectera la valeur des indicateurs futurs. C'est difficile. Si le solveur a raison, il gagne de l'argent, s'il a tort, il en perd. Les validateurs (ceux qui votent sur les indicateurs, ajustent les indicateurs s'ils détectent une « manipulation » ou s'ils deviennent obsolètes, et déterminent la valeur réelle de l'indicateur à un moment futur) n'ont besoin de répondre qu'à une question plus simple : « quelle est la valeur actuelle de cet indicateur ? »
Pouvoir de distillation de jugement humain
La distillation de la pensée humaine est un type de mécanisme dont le fonctionnement est le suivant. Il y a un grand nombre (pensez à : 100 millions) de questions à répondre. Des exemples naturels incluent :
Vous avez une équipe qui peut répondre à ces questions, mais au prix de dépenser beaucoup d’efforts pour chaque réponse. Vous ne demandez à l’équipe de répondre qu’à quelques questions (par exemple, s’il y a 1 million d’éléments dans la liste totale, l’équipe ne peut répondre qu’à 100 d’entre eux). Vous pouvez même poser une question indirecte à l’équipe : Ne demandez pas : « Quel pourcentage du crédit total d’Alice devrait-elle recevoir ? » Au lieu de cela, demandez-vous : « Alice ou Bob devraient-ils obtenir plus de crédit, et de combien ? » Lors de la conception d’un mécanisme de jury, vous pouvez réutiliser des mécanismes éprouvés dans le monde réel, tels que les comités de subvention, les tribunaux (pour déterminer la valeur des jugements), les évaluations et, bien sûr, les participants au jury eux-mêmes peuvent utiliser de nouveaux outils de recherche sur l’IA pour les aider à trouver des réponses.
Ensuite, vous autorisez n'importe qui à soumettre une liste de réponses numériques à l'ensemble du problème (par exemple, fournir une estimation de crédit pour chaque participant dans toute la liste). Les participants sont encouragés à utiliser l'intelligence artificielle pour accomplir cette tâche, mais ils peuvent utiliser n'importe quelle technologie : intelligence artificielle, interaction homme-machine, intelligence artificielle capable d'accéder à des recherches sur Internet et d'embaucher indépendamment d'autres humains ou d'autres travailleurs de l'intelligence artificielle, singe renforcé par la théorie du contrôle, etc.
Une fois que tous les fournisseurs de listes complètes et les jurés ont soumis leurs réponses, la liste complète sera examinée en fonction des réponses du jury, et une combinaison de la liste complète la plus compatible avec les réponses du jury sera choisie comme réponse finale.
Les mécanismes de jugement distillés des êtres humains diffèrent de ceux de la futarchie, mais il existe des similitudes importantes :
*Dans futarchy, les "solveurs" font des prédictions et les "vrais données" sur lesquelles ils se basent (pour récompenser ou punir les solveurs) sont les données de sortie de l'oracle, exploitées par un jury. *Dans le jugement humain distillé, les 'calculateurs' fourniront des réponses à un grand nombre de questions, et leurs prévisions seront basées sur une petite partie des réponses de haute qualité fournies par le jury.
!
Un exemple de jouet pour la distribution de crédits basé sur le jugement humain, veuillez consulter le code Python ici. Le script vous demande de jouer le rôle d'un jury et contient une liste complète de réponses générées par l'IA (et humaines) déjà incluses dans le code. Le mécanisme identifie la combinaison linéaire de la liste complète la mieux adaptée aux réponses du jury. Dans ce cas, la combinaison gagnante est 0.199 * la réponse de Claude + 0.801 * la réponse de Deepseek ; cette combinaison est plus conforme aux réponses du jury que n'importe quel modèle individuel. Ces coefficients seront également la récompense accordée aux soumissionnaires.
Dans cet exemple de "défaite de Sauron", l'aspect "l'homme en tant que volant" se manifeste à deux endroits. Tout d'abord, chaque problème est traité avec un jugement humain de haute qualité, bien que cela utilise toujours un jury comme évaluateur de la performance "technocrate". Deuxièmement, il y a un mécanisme de vote implicite pour décider si "la défaite de Sauron" est un objectif correct (plutôt que, par exemple, essayer de s'allier avec Sauron, ou céder tous les territoires à l'est d'une rivière clé en guise de concession pacifique). Il existe également d'autres cas d'utilisation de jugement humain distillé, où la tâche du jury est plus directement axée sur les valeurs : par exemple, envisagez une plateforme de médias sociaux (ou une sous-communauté) décentralisée, où le travail du jury consiste à marquer les publications de forum sélectionnées au hasard comme conformes ou non conformes aux règles de la communauté.
Dans le paradigme du jugement humain de distillation, il existe des variables ouvertes :
En général, l'objectif est d'utiliser des mécanismes de jugement humain connus pour être efficaces, minimiser les préjugés et avoir fait leurs preuves au fil du temps (par exemple, imaginez comment le système judiciaire oppose les deux parties en conflit, ayant beaucoup d'informations mais étant biaisées, alors que les juges ont peu d'informations mais peuvent être impartiaux), et d'utiliser le marché ouvert de l'intelligence artificielle comme indicateur de prédiction raisonnablement haute fidélité et à très faible coût pour ces mécanismes (ce qui ressemble au fonctionnement du grand modèle de prédiction "distillé").
Financement profond
Le financement en profondeur consiste à appliquer le jugement distillé de l'humanité au problème de pondération sur le graphique de la question "Quel pourcentage du crédit de X appartient à Y ?".
Le moyen le plus simple est d'illustrer directement par un exemple :
Résultat de l’exemple du financement profond à deux niveaux : les origines des idées d’Ethereum. Consultez le code Python ici.
L'objectif ici est de répartir les honneurs pour les contributions philosophiques à Ethereum. Prenons un exemple :
Cette approche est censée s’appliquer aux domaines où les travaux s’appuient sur des travaux antérieurs et présentent un degré élevé de clarté structurelle. Le milieu universitaire (pensez aux graphiques de citation) et les logiciels open source (pensez aux dépendances et aux forks de bibliothèques) en sont deux exemples naturels.
L'objectif d'un système de financement en profondeur bien fonctionnel est de créer et de maintenir un graphique global, où tout bailleur de fonds intéressé par le soutien d'un projet spécifique peut envoyer des fonds à une adresse représentant ce nœud, les fonds se propageant automatiquement en fonction du poids des arêtes du graphique vers leurs dépendances (et récursivement vers leurs dépendances, etc.).
Vous pouvez imaginer un protocole décentralisé utilisant un mécanisme de financement en profondeur intégré pour émettre ses jetons : la gouvernance décentralisée du protocole choisira un jury, qui fera fonctionner le mécanisme de financement en profondeur, car le protocole émettra automatiquement des jetons et les déposera dans un nœud correspondant à lui-même. Ce faisant, le protocole récompense de manière programmée tous ses contributeurs directs et indirects, rappelant comment Bitcoin ou Ethereum récompensent un type spécifique de contributeur (les mineurs). En influençant le poids des bords, le jury peut continuellement définir les types de contribution qu'il valorise. Ce mécanisme peut servir de solution décentralisée et durable à long terme pour le minage, la vente ou la distribution aérienne ponctuelle.
Augmenter la confidentialité
En général, pour faire le bon jugement sur le problème mentionné dans l'exemple ci-dessus, il est nécessaire d'avoir accès à des informations privées : les historiques de discussions internes de l'organisation, les informations soumises secrètement par les membres de la communauté, etc. L'un des avantages de "ne faire appel qu'à une seule IA", en particulier dans un environnement de petite envergure, est qu'il est plus facile pour une IA d'accéder à des informations que de rendre publiques ces informations à tout le monde.
Pour permettre aux jugements ou aux financements profonds des êtres humains distillés de jouer un rôle dans ces situations, nous pouvons essayer d'utiliser la cryptographie en permettant à l'IA d'accéder en toute sécurité aux informations privées. L'idée est d'utiliser des technologies telles que le calcul multipartite sécurisé (MPC), le chiffrement entièrement homomorphe (FHE), l'environnement d'exécution de confiance (TEE) ou des mécanismes similaires pour fournir des informations privées, mais uniquement si leur seule sortie est directement intégrée dans le mécanisme de "soumission de liste complète".
Si vous faites cela, vous devez restreindre l'ensemble du mécanisme à un modèle AI (et non à une combinaison d'humains ou d'IA + humains, car vous ne pouvez pas laisser les humains voir les données), et spécifique aux modèles fonctionnant sur certains substrats spécifiques (par exemple MPC, FHE, matériel de confiance). Une direction de recherche majeure consiste à trouver des versions pratiques suffisamment efficaces et significatives à court terme.
Les avantages de la conception du moteur + volant
Il y a de nombreux avantages prometteurs à une telle conception. De loin, l’avantage le plus important est qu’ils permettent de construire des DAO, donnant aux électeurs humains le contrôle de la direction, mais ils ne seront pas embourbés dans trop de décisions. Ils parviennent à un compromis où tout le monde n’a pas à prendre N décisions, mais ils ont le pouvoir d’aller au-delà de la simple prise de décision (comment les délégués travaillent habituellement) et de susciter des préférences riches qui sont difficiles à exprimer directement.
De plus, un tel mécanisme semble avoir une caractéristique de lissage incitatif. Ce que j’entends ici par « lissage incitatif » est une combinaison de deux facteurs :
Les termes obfuscation et diffusion sont ici tirés de la cryptographie, qui sont des propriétés clés de la sécurité des fonctions cryptographiques et de hachage.
Un bon exemple de lissage des incitations dans le monde réel d’aujourd’hui est l’État de droit : au lieu de prendre régulièrement des mesures sous la forme de « 200 millions de dollars pour l’entreprise d’Alice », « 100 millions de dollars pour l’entreprise de Bob » sur une base régulière, le sommet du gouvernement adopte des règles conçues pour être appliquées uniformément à un grand nombre de participants, qui sont ensuite interprétées par un autre groupe d’acteurs. Lorsque cette approche fonctionne, l’avantage est qu’elle réduit considérablement les avantages des pots-de-vin et d’autres formes de corruption. Lorsqu’elle est violée, ce qui arrive souvent dans la pratique, ces problèmes sont rapidement considérablement amplifiés.
L'IA deviendra évidemment une composante essentielle de l'avenir, inévitablement une composante essentielle de la gouvernance future. Cependant, si vous impliquez l'IA dans la gouvernance, il existe des risques évidents : l'IA est biaisée, elle peut être intentionnellement sabotée pendant le processus de formation, et le développement de l'IA évolue si rapidement que "laisser l'IA prendre le contrôle" pourrait en fait signifier "laisser les personnes responsables de la mise à niveau de l'IA prendre le contrôle". La distillation du jugement humain offre une voie alternative qui nous permet d'utiliser la puissance de l'IA de manière ouverte et libre sur le marché tout en maintenant le contrôle démocratique de l'humanité.
Un merci spécial à Devansh Mehta, Davide Crapis et Julian Zawistowski pour leurs retours et leurs révisions, ainsi qu'à Tina Zhen, Shaw Walters et d'autres pour les discussions.