Вступ

Масштабованість довгий час була викликом для більшості публічних блокчейнів у сфері блокчейну. Наприклад, у Bitcoin тривала дискусія про масштабованість протягом трьох років, а Ethereum стикався з мережевою затором через просту гру, CryptoKitties. Для вирішення цієї проблеми в індустрії було запропоновано різні рішення, включаючи короткострокову масштабованість шляхом збільшення розміру блоку, часткову жертву децентралізації за допомогою механізму консенсусу DPoS, використання альтернативних структур, таких як DAG, та методи масштабування поза ланцюжком, такі як підланки та бічні ланцюжки.

Серед них технологія шардування вважається ефективним та фундаментальним рішенням. На конференції розробників 2016 року засновник Ethereum Віталік Бутерін опублікував "фіолетову книгу" Ethereum 2.0, вводячи ідею обробки транзакцій через шардування. Як важлива спрямованість для масштабованості блокчейну, технологія шардування динамічно розподіляє обчислювальні ресурси шляхом паралельної обробки, покращуючи масштабованість мережі блокчейну та закладаючи технічну основу для підтримки високочастотних глобальних транзакцій.

Поточні рішення щодо масштабованості блокчейну

Огляд технології Шардингу

Походження ідеї

Технологія розщеплення виникла з розділення бази даних, яка спрямована на розбиття великих баз даних на менші сегменти для більш ефективної обробки даних. Ідея поєднання технології розщеплення з блокчейном була вперше запропонована в 2015 році. Дует дослідників з Національного університету Сінгапуру, Пратік Саксена та Лой Луу, представили статтю на Міжнародній конференції з безпеки CCS. Інноваційно вони розділили мережі блокчейн на "фрагменти", які здатні обробляти транзакції одночасно, що надає нове рішення проблемі масштабованості публічних блокчейнів.

Пізніше ця пара дослідників перетворила теорію на практику, розробивши перший проєкт на основі шардингу — Zilliqa. Zilliqa прийняла гібридний механізм консенсусу pBFT і PoW, ставши найефективнішим публічним ланцюгом для обробки транзакцій. Згодом технологія шардингу також отримала визнання засновника Ethereum Віталіка Бутеріна. У 2016 році Ethereum запропонував дворівневий дизайн шардингу, розділивши мережу Ethereum 2.0 на основний ланцюг і ланцюги сегментів даних. Основний ланцюг через Validator Management Contract (VMC) керує роботою ланцюгів сегментів даних, тоді як ланцюги сегментів використовують механізм консенсусу PoS для упаковки даних транзакцій і генерації блоків перевірки. При цьому VMC забезпечує валідність транзакцій і плавну передачу даних між шардами через модель UTXO і дерева квитанцій.

Потік оновлення Ethereum 2.0 Шардингу

З того часу, як технологія шардингу продовжує розвиватися, з'являється серія інноваційних проектів, які сприяють подальшому прориву в масштабованості блокчейну. Ці проекти не лише досліджують потенціал шардингу в швидкості обробки та ефективності мережі, але також надають міцну підтримку потенційним великомасштабним комерційним застосуванням, обіцяючи рухати технологію блокчейну до нового наративу високої ефективності та широкого застосування.

Визначення Шардингу

Технологія шардингу — це метод оптимізації архітектури блокчейну шляхом поділу мережі блокчейн на кілька незалежних «шардів» для забезпечення паралельної обробки даних. Кожен шард працює як незалежний процесор, здатний самостійно виконувати транзакції та обробляти дані, тим самим ефективно розподіляючи обчислювальне навантаження та навантаження на зберігання даних. Такий підхід не тільки значно підвищує швидкість обробки транзакцій блокчейн-мережі, але й оптимізує вимоги до зберігання вузлів. Нодам більше не потрібно підтримувати повні дані всього блокчейну. Таким чином, шардинг підвищує масштабованість і продуктивність блокчейн-мереж без шкоди для загальної безпеки мережі, забезпечуючи технічну підтримку великомасштабних додатків.

Джерело:Нові архітектури та методології для високопродуктивного шардингу блокчейну

Типи Шардингу

Технологію шардування можна розбити на три основних типи: мережеве шардування, транзакційне шардування та шардування стану. Основний принцип полягає в «розділенні цілого на частини та окремому управлінні ними», що дозволяє кільком шардам обробляти різні транзакції одночасно, а потім агрегувати результати на головному ланцюжку, тим самим покращуючи загальну продуктивність мережі блокчейн.

1. Шардинг мережі
   Мережевий шардінг є основною формою шардінгу, на основі якого побудовані інші механізми шардінгу. Ключ до мережевого шардінгу полягає в забезпеченні безпеки та запобіганні атак зловмисних вузлів. Конкретно, це включає випадковий вибір групи вузлів для формування шарду та встановлення незалежної згоди всередині шарду для обробки транзакцій. Цей метод значно збільшує мережеву конкурентність, оскільки кілька шардів одночасно обробляють не пов'язані транзакції, тим самим покращуючи продуктивність системи. Zilliqa є типовим прикладом блокчейну, який використовує мережевий шардінг, поєднуючи механізми згоди PoW та pBFT для підвищення швидкості. PoW запобігає атакам типу Сібіл, забезпечуючи участь лише законних вузлів у шардінгу, тоді як pBFT сприяє швидкій згоді щодо транзакцій, значно покращуючи швидкість підтвердження.

2. Транзакційний Шардинг
   Шардинг транзакцій передбачає розподіл різних транзакцій на різні шарди для обробки, тим самим прискорюючи швидкість обробки транзакцій всієї мережі. Транзакції, як правило, розподіляються на основі адреси відправника, групуючи пов'язані транзакції, щоб запобігти подвійним витратам. Наприклад, якщо одна адреса ініціює дві конфліктуючі транзакції, вони будуть швидко ідентифіковані та заблоковані в межах одного шарду. У випадках, коли транзакції відбуваються між шардами, зв'язок між шардами використовується для виявлення та блокування подвійних витрат. Модель UTXO може ще більше підвищити ефективність шардингу транзакцій, незважаючи на потенційні проблеми, такі як поділ великих транзакцій. Зрілість шардингу транзакцій значно просунулася вперед, що дозволило кільком механізмам консенсусу працювати паралельно.

3. Державний Шардинг
   Шардинг стану є найскладнішим і найскладнішим видом шардингу. Ключ полягає в тому, щоб кожен шард зберігав лише свій внутрішній стан, а не весь глобальний стан блокчейну, таким чином розподіляючи вимоги до зберігання даних. Однак, коли відбуваються транзакції між шардами, залучені сегменти повинні мати спільні стани транзакцій, що вимагає частого зв'язку між шардами, що може знизити продуктивність. Крім того, шардинг стану стикається з проблемами узгодженості даних і відмовостійкості: якщо шард зазнає атаки та переходить в автономний режим, це може вплинути на його перевірку даних. Вирішення цієї проблеми може вимагати глобального резервного копіювання станів на кожному вузлі, але такі резервні копії суперечать намірам децентралізованого зберігання шардингу стану та можуть спричинити ризики централізації.

Стратегії реалізації шардингу

Архітектура Шардингу

Дизайн архітектури шардінгу є основою технології шардінгу, охоплюючи концепції дизайну головних ланцюжків та підланцюжків, а також розподіл вузлів у межах та між шардами. У цій архітектурі головний ланцюжок забезпечує мережеву згоду та безпеку, функціонуючи як основа блокчейну, координуючи операції підланцюжків та забезпечуючи глобальну послідовність. Підланцюжки є незалежними регіонами, походять від головного ланцюжка, кожен з яких спрямований на обробку конкретних типів транзакцій та смарт-контрактів, тим самим досягаючи незалежного паралелізму для покращення ефективності та масштабованості.

Крім того, в архітектурі шардування вузли поділяються на дві ролі: вузли підланки, відповідальні за підтримку записів про транзакції та станів у своєму шарі, одночасно беручи участь у згоді для підтвердження транзакцій, та вузли крос-підланки, які забезпечують передачу інформації та оновлення станів між шарами для забезпечення координації та синхронізації між головним ланцюжком та підланками. Це детальне розподіл ролей покращує використання ресурсів та підвищує загальну потужність обробки транзакцій, створюючи міцну основу для розширення та ефективної роботи мереж блокчейн.

Джерело: newcomputerworld

Випадкове вибіркове

Випадкова вибірка та механізми вибору є критичними для забезпечення безпеки та справедливості архітектур шардінгу. Ключ полягає в випадковому виборі вузлів для формування шардів та у запобіганні зловмисникам концентрувати контроль над шардою. Під час вибору вузлів часто використовуються алгоритми генерації випадкових чисел на основі хеш-функцій, щоб забезпечити справедливість та децентралізацію, усуваючи упередженості на основі географічного розташування чи історичної поведінки. Це забезпечує, що всі вузли мають рівні шанси бути вибраними до різних шардів, підвищуючи децентралізацію мережі та стійкість до цензури.

Щоб запобігти атакам на перешкоду від керування обривом, контролюючи певні вузли, архітектури розділення зазвичай вводять кілька механізмів вибору та стратегій динамічного виділення вузлів. Наприклад, коли кількість вузлів у фрагменті досягає встановленого порогу, система автоматично спричиняє переорганізацію фрагменту, випадково вибираючи нові вузли для приєднання та забезпечуючи розподіл вузлів у межах фрагменту не стає занадто концентрованим. Крім того, механізми "перебалансування фрагменту" періодично коригують розподіл вузлів по фрагментах, запобігаючи атакам від експлуатації концентрації вузлів для нападу або маніпуляції фрагментом. Ці механізми ефективно зменшують ризик від одної точки виходу в архітектурі розділення та посилюють обороноздатність мережі від зловмисних атак.

Джерело: Ефективний алгоритм консенсусу шардінгу для блокчейн систем

Виклики та рішення в Шардингу

Проблеми безпеки

Адаптивні атаки зловмисників посилаються на атаки, де злоумисники використовують свої знання умов мережі для спрямування на конкретні фрагменти в мережі блокчейн. Атакувальники можуть маніпулювати транзакціями, підробляти дані або втручатися у процеси підтвердження транзакцій для досягнення своїх цілей. Оскільки в кожному фрагменті в розшарованій архітектурі є відносно менше вузлів, злоумисникам стає легше сконцентрувати свої зусилля на одному фрагменті, що збільшує ризики безпеки. Для вирішення цієї проблеми необхідно прийняти заходи для забезпечення цілісності фрагменту.

Одним із ефективних рішень є впровадження багаторівневих механізмів верифікації та протоколів перехресного спільного консенсусу. Зокрема, у кожному сегменті має бути створено кілька вузлів валідації для спільного підтвердження транзакцій, тим самим збільшуючи складність і вартість атак. Крім того, протоколи консенсусу між шардами полегшують обмін інформацією та перевірку стану між шардами, забезпечуючи координацію та узгодженість у всій мережі та запобігаючи атакам на один сегмент, які загрожують усій мережі. Ці механізми значно підвищують стійкість сегментованих архітектур проти атак і зменшують ризики, пов'язані з адаптивними ворожими загрозами.

Виклики доступності даних

Доступність даних є ще однією важливою проблемою в технології шардингу. У міру того, як шардинг набуває широкого поширення, ефективна перевірка доступності та цілісності даних у кожному шарді стає важливою для підтримки стабільності мережі блокчейн. Одним із підходів до вирішення цієї проблеми є вибірка частин набору даних для швидкої перевірки доступності всього набору даних. Цей метод зменшує обчислювальні накладні витрати на перевірку всіх даних, підвищуючи загальну ефективність системи.

Крім того, необхідно створити ефективні механізми перевірки. Наприклад, участь вузлів має бути підтверджена відповідним доказом доступності даних при генерації нових блоків. Це особливо важливо у випадку міжшарових транзакцій, щоб забезпечити консистентність і точність даних між шардами.

Случаї використання

Технологія Sharding Ethereum 2.0

У масштабній дорозі розвитку Ethereum Danksharding представляє революційне оновлення та основну технологію для досягнення масштабованості в Ethereum 2.0. На відміну від традиційних методів шардінгу, Danksharding інтегрує "об'єднані ринки комісійних винагород" та використовує механізм одноосібного пропонента блоку, спрощуючи процеси міжшарових транзакцій. Технічна реалізація поступово перейде до повного шардінгу в Ethereum 2.0 за допомогою механізмів, таких як EIP-4844 та proto-danksharding.

Унікальність Danksharding полягає в його інноваційному структурному дизайні. Традиційний шардинг розбиває мережі блокчейнів на кілька паралельних підланок, кожна з яких незалежно обробляє транзакції та досягає консенсусу. З іншого боку, Danksharding використовує один пропозер блоку, щоб усунути складність та проблеми продуктивності, спричинені кількома пропозерами в традиційному шардингу. Ланцюжок Beacon, як основний шар консенсусу Ethereum 2.0, відіграє важливу роль у цьому процесі. Він керує та координує всіх валідаторів в мережі Ethereum, забезпечуючи безпеку та послідовність. У рамках Danksharding, Ланцюжок Beacon підтримує стани валідаторів та сприяє комунікації та синхронізації даних між шардами, в цілому покращуючи продуктивність Ethereum 2.0.

Реалізація Danksharding буде проходити в кілька етапів. Спочатку proto-danksharding вводиться як перехідний етап під час оновлення Ethereum Cancun. Використовуючи EIP-4844, він підтримує технологію Rollup для зниження витрат на зберігання даних, закладаючи основу для повного впровадження Danksharding. Крім того, Danksharding підвищить безпеку Ethereum, запобігаючи потенційним загрозам, таким як атаки 51%, одночасно оптимізуючи вимоги до обчислень і зберігання в мережі для підтримки великомасштабних децентралізованих додатків.

Джерело: Розбір ETH 2.0 - Пояснення Шардингу

Технологія Polkadot Sharding

Polkadot досягає шардингу завдяки своїй інноваційній архітектурі "парашют", що дозволяє незалежним блокчейнам працювати в межах однієї мережі, забезпечуючи міжопераційність. Кожен парашют - це незалежна блокчейн-мережа, яка обробляє свої дані та транзакції. Ці парашюти координуються та управляються через Реле-ланцюг, який забезпечує уніфікований механізм згоди та гарантує безпеку мережі, а також синхронізацію та послідовність даних усіх парашютів.

Parachains також настроювані, що дозволяє незалежні структури управління та індивідуальну функціональність, щоб відповідати конкретним вимогам, що значно покращує гнучкість та масштабованість мережі. Архітектура парашути Полкадот особливо підходить для децентралізованих додатків (DApps) з високими вимогами, особливо в секторах DeFi, NFT та DAO, де її масштабованість та гнучкість були доведені. Наприклад, механізм аукціону слотів парашути Полкадот дозволяє кожному парашуту захищати права на підключення до Реле-ланцюга та використовувати конкретні обчислювальні ресурси протягом строку оренди. З додаванням додаткових парашутів Полкадот може досягти більшої пропускної здатності транзакцій та нижчих комісій.

У Polkadot 1.0 виділення основних ресурсів визначалося через дворічну систему аукціонів. У версії 2.0 виділення ресурсів стало більш гнучким. Оскільки долучається більше парачейнів і ресурси динамічно розподіляються, Polkadot готується стати ефективною мультиланцюжковою екосистемою, що підтримує широкий спектр децентралізованих додатків.

Джерело: Polkadot v1.0

Технологія NEAR Sharding

NEAR Protocol використовує інноваційну технологію динамічного шардингу Nightshade, що дозволяє системі гнучко налаштовувати кількість шардів, враховуючи потреби мережі, забезпечуючи ефективну та стабільну роботу при різних навантаженнях. Архітектура Nightshade, успішно впроваджена на основі NEAR, обробляє великі обсяги транзакцій та підтримує розвиток DApp, особливо ефективно працюючи за умов високого навантаження.

Основна перевага Nightshade полягає в його можливості динамічного шардингу, який регулює кількість шардів у режимі реального часу для підвищення продуктивності та масштабованості мережі. У зв'язку з майбутнім оновленням Фази 2, NEAR впроваджує значні вдосконалення в існуючу архітектуру, включаючи технологію «Перевірка без стану». Це нововведення дозволяє вузлам-валідаторам NEAR працювати без локального зберігання станів шарда, натомість динамічно отримуючи інформацію про «свідка стану» з мережі для перевірки. Такий підхід підвищує ефективність обробки шардів, знижує вимоги до апаратного забезпечення для валідаторів і забезпечує більш широку участь. Оскільки технологія шардингу продовжує розвиватися, NEAR має хороші можливості для підтримки великомасштабного зростання користувачів і забезпечення архітектурної основи для широкого впровадження децентралізованих додатків.

Джерело: Що таке NEAR Protocol? Система операцій для блокчейну (BOS)

TON Технологія Шардингу

Архітектура TON використовує багаторівневу структуру, що складається з мастерчейна та робочих ланцюгів, забезпечуючи ефективну роботу мережі та безперебійний міжланцюговий зв'язок. Мастерчейн служить основним реєстром мережі, зберігаючи заголовки блоків для всіх робочих ланцюгів і керуючи загальним станом мережі, включаючи оновлення протоколу та вибір валідатора. Робочі ланцюги — це незалежні підланцюги в мережі TON, кожен з яких спеціалізується на конкретних сценаріях застосування або бізнес-потребах, тим самим досягаючи гнучкості та спеціалізації мережі.

TON наголошує на крос-чейн сумісності, що забезпечує безперебійну взаємодію з іншими блокчейн-мережами для підвищення зручності використання екосистеми та міжблокчейнової функціональності. Однією з найпомітніших інновацій TON є його парадигма нескінченного шардингу, що дозволяє мережі динамічно регулювати кількість шардів відповідно до навантаження транзакцій. При високих навантаженнях TON розбиває шарди для обробки більшої кількості транзакцій; При низьких навантаженнях шарди об'єднуються для економії ресурсів і підвищення загальної ефективності. Ця горизонтальна конструкція масштабування дозволяє TON задовольняти зростаючі вимоги до транзакцій без шкоди для продуктивності, підтримуючи великі обсяги додатків, таких як DeFi.

Крім того, TON вводить технологію Гіперкуб, де час передачі даних логарифмічно збільшується зі зростанням кількості блокчейнів. Це означає, що навіть при розширенні мережі TON до мільйонів ланок, її швидкість обробки та час відгуку залишаються незмінними. Теоретично, TON може підтримувати до 4,3 мільярда робочих ланок, хоча його поточна реалізація включає лише майстер-ланку та базові ланки. Ця інноваційна архітектура демонструє потенціал TON у високовантажених, висококонкурентних середовищах, що сприяє широкому поширенню технології блокчейн.

Джерело: Шарди | Відкрита мережа

Напрямки майбутніх досліджень

Потенційні розробки в технології шардингу

• Крос-чейн сумісність: З розвитком технології шардингу міжланцюговий зв'язок ставатиме все більш важливим, особливо в міру зростання попиту на обмін інформацією та активами між різними блокчейн-мережами. Майбутня технологія шардингу може додатково інтегрувати міжланцюгові протоколи зв'язку, такі як Relay Chain від Polkadot і IBC від Cosmos, щоб забезпечити безперебійну взаємодію між шардами та ланцюгами.
• Підвищення безпеки через управління фрагментами: Динамічні налаштування фрагментів та гнучкі механізми управління стануть центральними точками майбутніх досліджень. Фрагментовані ланцюги все ще стикаються з викликами балансування безпеки та децентралізації. Нові моделі безпеки, такі як економічні стимули та спільне валідування фрагментів, будуть досліджені для зменшення ризику атак на фрагментовані ланцюги.
• Інтеграція з захистом приватності: поєднання шардингу та захисту приватності буде критичним у даних-чутливих додатках. Технології, такі як докази нульового знання та надійне виконання середовищ (TEE), можуть стати невід'ємною частиною шардингу, забезпечуючи безпеку даних при масштабуванні ланцюжків.

Потенційні інтеграції та інновації в інших архітектурах блокчейну

• Інновації гібридної архітектури: Майбутні блокчейн-архітектури можуть поєднувати кілька технологій, таких як інтеграція шардингу з DAG (Directed Acyclic Graph) або багатошарові блокчейн-архітектури. Багатошарові ланцюги можуть використовувати головні та підлеглі ланцюги для досягнення більш ефективного розрізання даних та розширення міжланцюжкових операцій. Наприклад, головний блокчейн може фокусуватися на безпеці та консенсусі, тоді як підлеглі ланцюги відповідають за більш гнучку обробку розрізів.
• Адаптація до квантового обчислення: з розвитком квантового обчислення архітектури блокчейну будуть все більше враховувати квантову сумісність. Вибіркова ефективність квантового обчислення та шифрування могли б потенційно підвищити ефективність шардингу. Водночас необхідно прийняти заходи проти квантових загроз поточним алгоритмам шифрування, особливо в механізмах міжшарової комунікації та перевірки.
• Управління розподіленим майном, що базується на штучному інтелекті: Штучний інтелект та машинне навчання можуть бути застосовані для автоматизації та оптимізації мереж розподіленого майна, особливо в передбаченні навантаження на шарди, прогнозуванні трафіку та динамічних налаштуваннях шардів. У майбутньому управління розподіленим майном, що базується на штучному інтелекті, дозволить блокчейнам адаптивно оптимізувати розподіл ресурсів, покращуючи загальну ефективність мережі та користувацький досвід.

Висновок

Технологія шардингу розділяє блокчейн-мережі на кілька незалежних і паралельних «шардів», ефективно знижуючи навантаження на окремі вузли та розширюючи можливості обробки транзакцій. Це стає основним напрямком у розширенні можливостей галузі блокчейну. Від Danksharding в Ethereum 2.0 до нескінченної парадигми шардингу TON, все більше блокчейн-мереж досліджують і впроваджують технологію шардингу, щоб задовольнити зростаючий попит на пропускну здатність транзакцій. Тим часом такі проблеми, як крос-чейн сумісність і доступність даних, сприяли новим технологічним інноваціям, що забезпечують співпрацю та потік активів між різними блокчейнами.

Однак, впровадження технології шардування не обходиться без викликів. Проблеми, такі як безпека, консистентність даних та ефективність міжшарової комунікації, потребують подальших проривів. В майбутньому технологія шардування продовжить приводити блокчейн до нової ери високої продуктивності та широкого застосування. При зростанні технології шардування архітектури стануть більш гнучкими та безпечними, підтримуючи більше децентралізованих додатків (DApps) та фінансових інновацій, нарешті, принесуть більшу стійкість та інновації глобальному екосистемі блокчейн.