Introduction

La scalabilité a longtemps été un défi pour la plupart des blockchains publiques dans le domaine de la blockchain. Par exemple, Bitcoin a connu un débat sur la scalabilité qui a duré trois ans, et Ethereum a souffert de congestions réseau en raison d'un simple jeu, CryptoKitties. Pour résoudre ce problème, diverses solutions ont été proposées dans l'industrie, notamment la scalabilité à court terme en augmentant la taille des blocs, en sacrifiant partiellement la décentralisation grâce au mécanisme de consensus DPoS, en utilisant des structures alternatives telles que le DAG et des méthodes de mise à l'échelle hors chaîne comme les sous-chaînes et les sidechains.

Parmi ceux-ci, la technologie de sharding est considérée comme une solution efficace et fondamentale. Lors de la conférence des développeurs de 2016, le fondateur d'Ethereum, Vitalik Buterin, a publié le « purple paper » Ethereum 2.0, introduisant l'idée de traitement des transactions via le sharding. En tant qu'axe important pour la scalabilité des blockchains, la technologie de sharding alloue dynamiquement les ressources de calcul grâce à un traitement parallèle, améliorant la scalabilité du réseau blockchain et posant les bases techniques pour prendre en charge des transactions mondiales à haute fréquence.

Solutions actuelles de scalabilité de la blockchain

Aperçu de la technologie Sharding

Origine de l'idée

La technologie de sharding est issue du partitionnement de base de données, qui visait à diviser de grandes bases de données en segments plus petits pour un traitement des données plus efficace. L'idée de combiner la technologie de sharding avec la blockchain a été proposée pour la première fois en 2015. Un duo de chercheurs de l'Université nationale de Singapour, Prateek Saxena et Loi Luu, ont présenté un document lors de la Conférence internationale sur la sécurité CCS. Ils ont divisé de manière innovante les réseaux blockchain en "fragments" capables de traiter simultanément des transactions, offrant ainsi une nouvelle solution au problème de scalabilité des blockchains publiques.

Plus tard, ce duo de chercheurs a transformé la théorie en pratique, en développant le premier projet basé sur le sharding, Zilliqa. Zilliqa a adopté un mécanisme de consensus hybride de pBFT et PoW, devenant la chaîne publique la plus efficace pour le traitement des transactions. Par la suite, la technologie du sharding a également reçu la reconnaissance du fondateur d'Ethereum, Vitalik Buterin. En 2016, Ethereum a proposé un design de sharding à deux couches, divisant le réseau Ethereum 2.0 en chaîne principale et en chaînes de shards. La chaîne principale, via le Contrat de Gestion des Validateurs (VMC), gère le fonctionnement des chaînes de shards, tandis que les chaînes de shards utilisent le mécanisme de consensus PoS pour empaqueter les données de transaction et générer des blocs de validation. Pendant ce temps, le VMC garantit la validité des transactions et le transfert de données entre les shards via le modèle UTXO et les arbres de reçus.

Diagramme de flux de mise à niveau du Sharding Ethereum 2.0

Depuis lors, à mesure que la technologie de sharding continue d'évoluer, une série de projets innovants ont émergé, stimulant davantage les avancées en termes de scalabilité de la blockchain. Ces projets explorent non seulement le potentiel du sharding en termes de vitesse de traitement et d'efficacité du réseau, mais ils fournissent également un soutien solide pour des applications commerciales à grande échelle potentielles, promettant de faire avancer la technologie blockchain vers une nouvelle narration axée sur l'efficacité et l'application large.

Définition du Sharding

La technologie de partitionnement est une méthode d’optimisation de l’architecture de la blockchain en divisant le réseau blockchain en plusieurs « fragments » indépendants pour permettre le traitement parallèle des données. Chaque partition fonctionne comme une unité de traitement indépendante capable d’exécuter des transactions et de traiter des données par elle-même, répartissant ainsi efficacement les charges de calcul et de stockage du réseau. Cette approche améliore non seulement considérablement la vitesse de traitement des transactions du réseau blockchain, mais optimise également les exigences de stockage des nœuds. Les nœuds n’ont plus besoin de conserver les données complètes de l’ensemble de la blockchain. Ainsi, le sharding améliore l’évolutivité et les performances des réseaux blockchain sans compromettre la sécurité globale du réseau, en fournissant un support technique pour les applications à grande échelle.

Source: Nouvelles architectures et méthodologies pour une blockchain de sharding à haute performance

Types de Sharding

La technologie de Sharding peut être catégorisée en trois types principaux : sharding réseau, sharding de transaction et sharding d'état. Le principe fondamental réside dans la "division d'un tout en parties et leur gestion séparée," permettant à plusieurs shards de traiter différentes transactions simultanément, puis d'agréger les résultats sur la chaîne principale, améliorant ainsi les performances globales du réseau Blockchain.

1. Sharding de réseau
   Le sharding réseau est la forme fondamentale du sharding sur laquelle d'autres mécanismes de sharding sont construits. La clé du sharding réseau réside dans la garantie de la sécurité et la prévention des attaques par des nœuds malveillants. Plus précisément, cela implique la sélection aléatoire d'un groupe de nœuds pour former un shard et l'établissement d'un consensus indépendant au sein du shard pour traiter les transactions. Cette méthode augmente considérablement la concurrence du réseau car plusieurs shards traitent simultanément des transactions non liées, améliorant ainsi les performances du système. Zilliqa est un exemple typique d'une blockchain utilisant le sharding réseau, combinant les mécanismes de consensus PoW et pBFT pour améliorer la vitesse. Le PoW empêche les attaques Sybil, garantissant que seuls les nœuds légitimes participent au sharding, tandis que le pBFT facilite le consensus rapide des transactions, améliorant ainsi considérablement la vitesse de confirmation.

2. Fragmentation de transaction
   Le sharding de transaction consiste à distribuer différentes transactions à divers shards pour les traiter, accélérant ainsi la vitesse de traitement des transactions de l'ensemble du réseau. Les transactions sont généralement allouées en fonction de l'adresse de l'expéditeur, regroupant les transactions connexes pour prévenir les doubles dépenses. Par exemple, si une adresse lance deux transactions conflictuelles, elles seront rapidement identifiées et empêchées dans le même shard. Dans les cas où des transactions se produisent à travers des shards, une communication inter-shard est utilisée pour détecter et bloquer les doubles dépenses. Le modèle UTXO peut encore améliorer l'efficacité du sharding de transactions, malgré des problèmes potentiels tels que la division de grosses transactions. La maturité du sharding de transaction a considérablement progressé, permettant à plusieurs mécanismes de consensus de fonctionner en parallèle.

3. State Sharding
   Le sharding d'état est le type de sharding le plus complexe et le plus difficile. La clé réside dans le fait de veiller à ce que chaque shard ne maintienne que son état interne plutôt que l'état global de la blockchain, répartissant ainsi les exigences de stockage des données. Cependant, lorsqu'il y a des transactions entre shards, les shards impliqués doivent partager les états de transaction, nécessitant une communication fréquente entre les shards qui peut réduire les performances. En outre, le sharding d'état est confronté à des défis en matière de cohérence des données et de tolérance aux pannes : si un shard est attaqué et tombe hors ligne, sa validation des données peut être affectée. Pour résoudre ce problème, il pourrait être nécessaire de sauvegarder l'état global sur chaque nœud, mais de telles sauvegardes sont en conflit avec l'intention de stockage décentralisé du sharding d'état et pourraient introduire des risques de centralisation.

Stratégies de mise en œuvre du Sharding

Architecture Sharding

La conception de l'architecture de sharding est au cœur de la technologie de sharding, englobant les concepts de conception des chaînes principales et des sous-chaînes, ainsi que l'allocation des nœuds au sein et entre les shards. Dans cette architecture, la chaîne principale maintient le consensus et la sécurité du réseau, fonctionnant comme le cœur de la blockchain, coordonnant les opérations des sous-chaînes et garantissant la cohérence mondiale. Les sous-chaînes sont des régions indépendantes dérivées de la chaîne principale, chacune se concentrant sur le traitement de types spécifiques de transactions et de contrats intelligents, permettant ainsi un parallélisme indépendant pour améliorer l'efficacité des performances et la scalabilité.

De plus, les nœuds dans l'architecture de sharding sont divisés en deux rôles: les nœuds de sous-chaîne, responsables de la maintenance des enregistrements de transactions et des états au sein de leur shard tout en participant au consensus pour valider les transactions, et les nœuds de cross-sous-chaîne, chargés de transmettre des informations et de mettre à jour les états à travers les shards pour assurer la coordination et la synchronisation entre la chaîne principale et les sous-chaînes. Cette division détaillée des rôles améliore l'utilisation des ressources et augmente la capacité de traitement des transactions globale, posant ainsi les bases d'une expansion et d'un fonctionnement efficace des réseaux blockchain.

Source: newcomputerworld

Échantillonnage aléatoire

Les mécanismes d'échantillonnage aléatoire et de sélection sont essentiels pour garantir la sécurité et l'équité des architectures de sharding. La clé réside dans la sélection aléatoire des nœuds pour former des shards et empêcher les attaquants malveillants de concentrer le contrôle sur un shard. Pendant la sélection des nœuds, des algorithmes de génération de nombres aléatoires basés sur le hachage sont souvent utilisés pour garantir l'équité et la décentralisation, éliminant les biais basés sur la localisation géographique ou le comportement historique. Cela garantit que tous les nœuds ont une chance égale d'être sélectionnés dans différents shards, renforçant la décentralisation du réseau et sa résistance à la censure.

Pour empêcher les attaquants de manipuler une partition en contrôlant certains nœuds, les architectures de partitionnement introduisent généralement plusieurs mécanismes de sélection et des stratégies d’allocation dynamique des nœuds. Par exemple, lorsque le nombre de nœuds d’une partition atteint un seuil défini, le système déclenche automatiquement la réorganisation de la partition, en sélectionnant de manière aléatoire de nouveaux nœuds à rejoindre et en veillant à ce que la distribution des nœuds au sein de la partition ne devienne pas trop concentrée. De plus, les mécanismes de « rééquilibrage des partitions » ajustent périodiquement la distribution des nœuds entre les partitions, empêchant ainsi les attaquants d’exploiter la concentration des nœuds pour attaquer ou manipuler une partition. Ces mécanismes réduisent efficacement le risque de défaillances ponctuelles au sein de l’architecture de partitionnement et renforcent la défense du réseau contre les attaques malveillantes.

Source: Un algorithme de consensus de fragmentation efficace pour les systèmes de Blockchain

Défis et solutions dans le sharding

Problèmes de sécurité

Les attaques adverses adaptatives font référence aux attaques où des acteurs malveillants exploitent leurs connaissances des conditions réseau pour cibler des fragments spécifiques dans un réseau blockchain. Les attaquants peuvent manipuler des transactions, altérer des données ou perturber les processus de confirmation des transactions pour atteindre leurs objectifs. Étant donné que chaque fragment dans une architecture fragmentée a relativement moins de nœuds, il devient plus facile pour les attaquants de concentrer leurs efforts sur un seul fragment, ce qui augmente les risques de sécurité. Pour résoudre ce problème, des mesures doivent être prises pour garantir l'intégrité des fragments.

Une solution efficace consiste à introduire des mécanismes de vérification multi-couches et des protocoles de consensus croisés. Plus précisément, plusieurs nœuds de validation devraient être établis au sein de chaque éclat pour confirmer de manière collaborative les transactions, augmentant ainsi la complexité et le coût des attaques. De plus, les protocoles de consensus inter-éclats facilitent le partage d'informations et la validation de l'état entre les éclats, assurant la coordination et la cohérence à travers le réseau et empêchant les attaques sur un seul éclat de menacer l'ensemble du réseau. Ces mécanismes améliorent considérablement la résilience des architectures éclatées contre les attaques et réduisent les risques posés par les menaces adverses adaptatives.

Défis de disponibilité des données

La disponibilité des données est un autre défi critique dans la technologie de sharding. Alors que le sharding devient largement adopté, vérifier efficacement l'accessibilité et l'intégrité des données dans chaque shard devient essentiel pour maintenir la stabilité du réseau blockchain. Une approche pour relever ce défi consiste à échantillonner des parties de l'ensemble de données pour vérifier rapidement la disponibilité de l'ensemble des données. Cette méthode réduit la surcharge computationnelle de l'inspection de toutes les données, améliorant l'efficacité globale du système.

De plus, il est nécessaire de mettre en place des mécanismes de vérification efficaces. Par exemple, les nœuds participants doivent fournir une preuve correspondante de la disponibilité des données lors de la génération de nouveaux blocs. Cela est particulièrement important dans les transactions inter-fragments pour garantir la cohérence et l'exactitude des données entre les fragments.

Études de cas

Technologie de fragmentation Ethereum 2.0

Dans la feuille de route de la scalabilité d'Ethereum, Danksharding représente une mise à niveau révolutionnaire et une technologie de base pour atteindre une scalabilité à grande échelle dans Ethereum 2.0. Contrairement aux méthodes de sharding traditionnelles, Danksharding intègre des "marchés de frais fusionnés" et adopte un mécanisme de proposition de bloc unique, simplifiant les processus de transaction entre les shards. La mise en œuvre technique passera progressivement au sharding complet dans Ethereum 2.0 grâce à des mécanismes tels que l'EIP-4844 et le proto-danksharding.

L'unicité de Danksharding réside dans sa conception structurelle innovante. Le sharding traditionnel divise les réseaux blockchain en plusieurs sous-chaînes parallèles, chacune gérant indépendamment les transactions et parvenant à un consensus. Danksharding, en revanche, utilise un seul proposant de bloc pour éliminer la complexité et les goulots d'étranglement de performance causés par plusieurs proposants dans le sharding traditionnel. La chaîne Beacon, en tant que couche de consensus centrale d'Ethereum 2.0, joue un rôle crucial dans ce processus. Elle gère et coordonne tous les validateurs du réseau Ethereum, garantissant ainsi la sécurité et la cohérence. Dans le cadre de Danksharding, la chaîne Beacon maintient les états des validateurs et facilite la communication inter-chaînes et la synchronisation des données, améliorant ainsi les performances globales d'Ethereum 2.0.

La mise en œuvre de Danksharding se déroulera en plusieurs phases. Initialement, le proto-danksharding est introduit en tant que phase de transition lors de la mise à niveau de Cancún d'Ethereum. En utilisant l'EIP-4844, il prend en charge la technologie Rollup pour réduire les coûts de stockage des données, posant ainsi les bases de la mise en œuvre complète de Danksharding. De plus, Danksharding améliorera la sécurité d'Ethereum, en empêchant les menaces potentielles telles que les attaques de 51 %, tout en optimisant les exigences de calcul et de stockage dans le réseau pour prendre en charge des applications décentralisées à grande échelle.

Source: Décryptage d'ETH 2.0 - Explication du Sharding

Technologie de Sharding Polkadot

Polkadot réalise le sharding grâce à son architecture innovante de « parachain », permettant aux blockchains indépendantes de fonctionner au sein du même réseau tout en assurant l'interopérabilité. Chaque parachain est un réseau blockchain indépendant qui traite ses propres données et transactions. Ces parachains sont coordonnés et gérés par le Relay Chain, qui fournit un mécanisme de consensus unifié et garantit la sécurité du réseau, ainsi que la synchronisation des données et la cohérence entre tous les parachains.

Les parachains sont également personnalisables, ce qui permet des structures de gouvernance indépendantes et des fonctionnalités sur mesure pour répondre à des exigences spécifiques, améliorant considérablement la flexibilité et la scalabilité du réseau. L'architecture des parachains de Polkadot est particulièrement adaptée aux applications décentralisées (DApps) avec des exigences élevées, notamment dans les secteurs DeFi, NFT et DAO, où sa scalabilité et sa flexibilité ont été prouvées. Par exemple, le mécanisme d'enchères de slots de parachain de Polkadot permet à chaque parachain de sécuriser des droits de connexion à la chaîne de relais et d'utiliser des ressources de calcul spécifiques pendant la période de location. Avec l'ajout de plus de parachains, Polkadot peut atteindre un débit de transactions plus élevé et des frais plus bas.

Dans Polkadot 1.0, l'allocation des ressources principales a été déterminée grâce à un système d'enchères de deux ans. Dans la version 2.0, l'allocation des ressources est devenue plus flexible. À mesure que davantage de parachains rejoignent et que les ressources sont distribuées dynamiquement, Polkadot est sur le point de devenir un écosystème multi-chaînes efficace soutenant une large gamme d'applications décentralisées.

Source: Polkadot v1.0

Technologie de Sharding NEAR

Le protocole NEAR utilise la technologie innovante de sharding dynamique Nightshade, permettant au système d'ajuster le nombre de shards de manière flexible en fonction des demandes du réseau, maintenant des opérations efficaces et stables sous des charges variables. L'architecture Nightshade, implémentée avec succès sur le mainnet NEAR, traite de grands volumes de transactions et prend en charge le développement de DApp, se distinguant particulièrement dans des conditions de charge élevée.

Le principal avantage de Nightshade réside dans sa capacité de partitionnement dynamique, qui ajuste le nombre de partitions en temps réel pour améliorer les performances et l’évolutivité du réseau. Avec la prochaine mise à niveau de phase 2, NEAR introduit des améliorations significatives à son architecture existante, y compris la technologie de « validation sans état ». Cette innovation permet aux nœuds de validation NEAR de fonctionner sans stocker localement les états des partitions, mais d’obtenir dynamiquement des informations de « témoin d’état » du réseau à des fins de validation. Cette approche améliore l’efficacité du traitement des partitions, réduit les exigences matérielles pour les validateurs et permet une participation plus large. Alors que la technologie de partitionnement continue d’évoluer, NEAR est bien positionné pour prendre en charge la croissance du nombre d’utilisateurs à grande échelle et fournir la base architecturale pour l’adoption généralisée d’applications décentralisées.

Source: Qu'est-ce que le protocole NEAR ? Le système d'exploitation de la blockchain (BOS)

Technologie de sharding TON

L'architecture TON adopte une structure multicouche composée d'une chaîne principale et de chaînes de travail, assurant un fonctionnement efficace du réseau et une communication transparente entre les chaînes. La chaîne principale sert de grand livre central du réseau, stockant les en-têtes de bloc pour toutes les chaînes de travail et gérant l'état global du réseau, y compris les mises à niveau de protocole et les élections de validateurs. Les chaînes de travail sont des sous-chaînes indépendantes dans le réseau TON, chacune se spécialisant dans des scénarios d'application spécifiques ou des besoins commerciaux, permettant ainsi une flexibilité et une spécialisation du réseau.

TON met l'accent sur la compatibilité inter-chaînes, permettant une interaction transparente avec d'autres réseaux blockchain pour améliorer la convivialité de l'écosystème et la fonctionnalité inter-chaînes. Une des innovations les plus remarquables de TON est son paradigme de fragmentation infinie, qui permet au réseau d'ajuster dynamiquement le nombre de fragments en fonction de la charge de transaction. En cas de forte charge, TON divise les fragments pour gérer plus de transactions ; en cas de faible charge, les fragments se regroupent pour économiser les ressources et améliorer l'efficacité globale. Cette conception de mise à l'échelle horizontale permet à TON de répondre aux demandes croissantes de transactions sans compromettre les performances, en prenant en charge des applications à fort volume telles que DeFi.

De plus, TON introduit la technologie Hypercube, où le temps de transmission des données évolue de manière logarithmique avec le nombre de blockchains. Cela signifie que même lorsque le réseau TON s'étend à des millions de chaînes, sa vitesse de traitement et ses temps de réponse restent inchangés. Théoriquement, TON peut prendre en charge jusqu'à 4,3 milliards de workchains, bien que sa mise en œuvre actuelle ne comprenne que le masterchain et les chaînes de base. Cette architecture innovante met en valeur le potentiel de TON dans des environnements à forte charge et forte concurrence, favorisant l'adoption généralisée de la technologie blockchain.

Source: Shards | Le réseau ouvert

Directions futures de recherche

Développements potentiels dans la technologie de Sharding

• Compatibilité inter-chaînes : Avec les avancées de la technologie de sharding, la communication entre chaînes deviendra de plus en plus critique, notamment à mesure que la demande d'échange d'informations et d'actifs entre différents réseaux blockchain augmentera. La future technologie de sharding pourrait intégrer davantage de protocoles de communication inter-chaînes, tels que le Relay Chain de Polkadot et l'IBC de Cosmos, pour permettre des interactions fluides entre les fragments et les chaînes.
• Sécurité renforcée grâce à la gouvernance par fragments : Les ajustements dynamiques des fragments et les mécanismes de gouvernance flexibles deviendront des points centraux de la recherche future. Les chaînes fragmentées font encore face à des défis pour équilibrer la sécurité et la décentralisation. Des modèles de sécurité émergents, tels que les mécanismes d'incitation économique et le partage des validateurs de fragments, seront explorés pour réduire le risque d'attaques sur les chaînes fragmentées.
• Intégration avec protection de la vie privée : La combinaison du sharding et de la protection de la vie privée sera cruciale dans les applications sensibles aux données. Des technologies telles que les preuves de connaissance nulle et les environnements d'exécution de confiance (TEE) peuvent devenir des parties intégrantes du sharding, garantissant la sécurité des données à mesure que les chaînes sharded évoluent.

Intégrations et innovations potentielles dans d'autres architectures de blockchain

• Innovations d'architecture hybride: les architectures futures de blockchain peuvent combiner plusieurs technologies, telles que l'intégration du sharding avec le DAG (Directed Acyclic Graph) ou des architectures de blockchain à plusieurs couches. Les chaînes à plusieurs couches peuvent exploiter les chaînes maîtres et latérales pour réaliser un sharding de données plus efficace et une expansion inter-chaînes. Par exemple, la blockchain maître pourrait se concentrer sur la sécurité et le consensus, tandis que les chaînes latérales gèrent le traitement du shard plus flexible.
• Adaptation à l'informatique quantique : À mesure que l'informatique quantique progresse, les architectures blockchain tiendront de plus en plus compte de la compatibilité quantique. Les avantages computationnels et de chiffrement de l'informatique quantique pourraient potentiellement améliorer l'efficacité du sharding. En même temps, des précautions doivent être prises contre les menaces quantiques pesant sur les algorithmes de chiffrement actuels, en particulier dans les mécanismes de communication et de validation entre les shards.
• Gestion intelligente des fragments pilotée par l'IA : L'intelligence artificielle et l'apprentissage automatique pourraient être appliqués pour automatiser et optimiser les réseaux de fragments, notamment dans la prédiction de la charge des fragments, la prévision du trafic et les ajustements dynamiques des fragments. À l'avenir, la gestion des fragments pilotée par l'IA permettra aux blockchains d'optimiser de manière adaptative l'allocation des ressources, améliorant ainsi l'efficacité globale du réseau et l'expérience utilisateur.

Conclusion

La technologie de sharding divise les réseaux blockchain en plusieurs “shards” indépendants et parallèles, réduisant ainsi efficacement la charge sur les nœuds individuels et améliorant les capacités de traitement des transactions. Elle devient un point central pour renforcer le domaine de la blockchain. De Danksharding d'Ethereum 2.0 au paradigme de sharding infini de TON, un nombre croissant de réseaux blockchain explorent et mettent en œuvre la technologie de sharding pour répondre à la demande croissante de débit de transactions. Pendant ce temps, des défis tels que la compatibilité inter-chaînes et la disponibilité des données ont favorisé de nouvelles innovations technologiques, permettant la collaboration et le flux d'actifs entre différentes blockchains.

Cependant, la mise en œuvre de la technologie de sharding n'est pas sans défis. Des problèmes tels que la sécurité, la cohérence des données et l'efficacité de la communication inter-partagée nécessitent de nouvelles percées. En regardant vers l'avenir, la technologie de sharding continuera de conduire la blockchain vers une nouvelle ère de haute performance et d'application généralisée. À mesure que la technologie se mature, les architectures de sharding deviendront plus flexibles et sécurisées, soutenant davantage d'applications décentralisées (DApps) et d'innovations financières, apportant finalement une plus grande durabilité et innovation à l'écosystème blockchain mondial.