Розробка основних AI в даний час контролюється кількома технологічними компаніями, що виявляє закритість та відсутність конкуренції.
Розробка відкритого програмного забезпечення, хоча й є потенційним рішенням, проте базова штучна інтелектуальність не може працювати так само, як традиційні відкриті проекти (наприклад, Linux), тому що вона стикається з «проблемою ресурсів»: учасники відкритого програмного забезпечення не тільки витрачають час, але й несуть обчислювальні та витрати на дані, які перевищують їх особисті можливості.
Криптовалюта може вирішити проблему ресурсів, залучаючи постачальників до участі в основному відкритому проекті штучного інтелекту.
Поєднуючи відкрите штучного інтелекту та криптотехнології, можна підтримувати розробку більш масштабних моделей та сприяти більшій кількості інновацій, створюючи більш передові системи штучного інтелекту.
Вступ
Згідно з опитуванням, проведеним П'ю Ресерч Центром в 2024 році, 64% американців вважають, що вплив соціальних медіа на країну шкідливий, ніж корисний; 78% вважають, що соціальні медіа-компанії мають надто велику політичну владу та вплив; 83% вважають, що ці платформи ймовірно свідомо цензурують політичні погляди, з якими вони не погоджуються. Незадоволення соціальними медіа майже стало рідкістю в американському суспільстві.
Озираючись назад на еволюцію соціальних мереж за останні 20 років, ця ситуація здається передбачуваною. Історія не складна: кілька великих технологічних компаній привернули увагу користувачів і, що важливіше, дані користувачів. Незважаючи на початкові надії на відкриті дані, компанії швидко змінили свою стратегію, використовуючи дані для створення незламних мережевих ефектів і відключення зовнішнього доступу. Результатом є сьогоднішня ситуація: менше 10 великих технологічних компаній домінують в індустрії соціальних мереж, створюючи «олігопольний» ландшафт. Оскільки статус-кво надзвичайно сприятливий для них, у цих компаній мало стимулів до змін. Ця модель закрита і позбавлена конкуренції.
Здається, що сьогодні траєкторія розвитку AI-технологій повторює цю сцену, але цього разу її вплив є більш глибоким. Кілька технологічних компаній, володіючи GPU та даними, створили базові моделі штучного інтелекту і закрили доступ до них. Для нових учасників, які не мають мільярдів доларів, розробка конкурентоспроможної моделі практично неможлива. Вартість просто тренувати базову модель складається з мільярдів доларів, а компанії соціальних медіа, які здобули користь від попередньої технологічної хвилі, використовують своє володіння ексклюзивними користувацькими даними, щоб розробити недосяжні конкурентам моделі. Ми повторюємо помилку соціальних медіа і рухаємось до закритого та не конкурентного світу AI. Якщо ця тенденція продовжиться, декілька технологічних компаній матимуть необмежений контроль над отриманням інформації та можливостей.
Відкритий штучний інтелект та "проблема ресурсів"
Якщо ми не хочемо бачити закрите світове АІ, то який вибір ми маємо? Очевидна відповідь полягає в тому, щоб розробити основні моделі як проекти відкритих джерел програмного забезпечення. У минулому ми вже мали безліч відкритих проектів, які успішно створювали базове програмне забезпечення, на якому ми зазвичай спираємось. Наприклад, успіх Linux свідчить про те, що навіть таке ядро системи може бути розроблено відкритим способом. Тому чому б не зробити те ж саме з LLM (великими мовними моделями)?
Проте базові моделі штучного інтелекту стикаються зі специфічними обмеженнями, які відрізняють їх від традиційного програмного забезпечення, що значно підірвало їхню придатність як традиційного відкритого проекту. Зокрема, для базових моделей штучного інтелекту потрібні величезні обчислювальні та даних ресурси, які далеко виходять за межі можливостей окремої особи. На відміну від традиційних відкритих проектів, які залежать виключно від пожертв часу людей, відкритий штучний інтелект також вимагає пожертв обчислювальних ресурсів та даних, і це є так званою "проблемою ресурсів".
На прикладі моделі LLaMa Meta ми можемо краще зрозуміти цю проблему ресурсів. На відміну від конкурентів, таких як OpenAI і Google, Meta не приховує модель за платним API, а надає відкритий доступ до ваг LLaMa для безкоштовного використання будь-якими особами (з деякими обмеженнями). Ці ваги містять знання, які модель вивчила під час навчання на Meta, і є необхідною умовою для роботи моделі. Маючи ці ваги, користувачі можуть налаштовувати модель або використовувати виведені моделі як вхідні дані для нових моделей.
Хоча Meta визнавала вагомість LLaMa, це все одно не можна вважати справжнім відкритим проектом програмного забезпечення. Meta знаходиться за кулісами контролює процес навчання моделі, покладаючись на власні обчислювальні ресурси, дані та рішення, і односторонньо вирішує, коли відкрити цю модель для громадськості. Meta не запрошує незалежних дослідників або розробників для співпраці в спільноті, оскільки ресурси, необхідні для навчання або повторного навчання моделі, далеко перевищують можливості звичайної людини. Ці ресурси включають десятки тисяч високопродуктивних графічних процесорів, центри обробки даних для цих процесорів, складні системи охолодження та десятки трильйонів токенів (одиниць текстових даних, необхідних для навчання моделі). Як зазначено у звіті індексу штучного інтелекту Стенфордського університету 2024 року, «різке зростання вартості навчання фактично виключає провідні університети, які традиційно є центрами досліджень зі штучного інтелекту, з розробки передових базових моделей». Наприклад, Сем Альтман зазначив, що вартість навчання GPT-4 становить до 100 мільйонів доларів, і це навіть не включає витрати на апаратне забезпечення. Крім того, капітальні витрати Meta у другому кварталі 2024 року збільшилися на 2,1 мільярда доларів у порівнянні з аналогічним періодом 2023 року, головним чином на сервери, центри обробки даних та мережеву інфраструктуру, пов'язану з навчанням моделі штучного інтелекту. Тому, незважаючи на те, що спільнота внесення внеску до LLaMa може мати технічні знання для поліпшення архітектури моделі, вони не мають достатнього ресурсу для здійснення цих поліпшень.
Узагальнюючи, у відміну від традиційних проектів з відкритим вихідним кодом, проекти з відкритими ШІ вимагають не лише від учасників вкладати час, а й нести великі витрати на обчислення та дані. Розраховувати лише на доброзичливість та дух добровольця, щоб забезпечити достатню кількість ресурсів, є нереалістичним. Вони потребують додаткових стимулів. Нехай візьмемо на приклад відкриту велику модель BLOOM, яка об'єднує зусилля 1000 волонтерських дослідників з більш ніж 70 країн і більш ніж 250 установ з більш як 1760 мільярдами параметрів. Хоча успіх BLOOM гідний захвату (я повністю підтримую це), але для координації одного навчання знадобилось рік і залежало від фінансування в розмірі 3 мільйонів євро від французької дослідницької установи (це ще не включає витрати на капітальні вкладення у суперкомп'ютери, які використовуються для навчання моделі). Залежність від нового раунду фінансування для координації та ітерації BLOOM є надто складною і не може конкурувати з швидкістю розвитку великих технологічних лабораторій. З моменту випуску BLOOM минуло понад два роки, і наразі не було чуток про розробку будь-яких наступних моделей командою.
Для того щоб зробити відкрите штучний інтелект можливим, нам потрібно знайти спосіб стимулювати постачальників ресурсів внести свій внесок у обчислювальну потужність та ресурси даних, а не дозволяти відкритим внескам взяти на себе ці витрати.
Чому криптографічна технологія може вирішити "проблему ресурсів" в основі відкритого штучного інтелекту
Основним проривом у криптографічній технології є механізм «власності», який робить можливими високоресурсні проекти з відкритим кодом. Він вирішує проблему ресурсів у відкритому штучному інтелекті, заохочуючи потенційних постачальників ресурсів брати участь у мережі, а не передбачати витрати на ці ресурси для внесення внеску у відкритий код.
Bitcoin є чудовим прикладом. Як перший криптографічний проект, Bitcoin є повністю відкритим програмним проектом, код якого з самого початку був відкритий. Однак код сам по собі не є ключем до Bitcoin. Просто завантаження та запуск програмного вузла Bitcoin, створення ланцюжка блоків на локальному комп'ютері, не має реального значення. І лише коли обчислювальна потужність блоків, які вийшли за межі можливостей будь-якого окремого внеску, то справжня цінність цього програмного забезпечення може бути проявлено: підтримка децентралізованої, неконтрольованої книги обліку. Подібно до відкритого джерела базового штучного інтелекту, Bitcoin є відкритим проектом, який потребує ресурсів, що перевищують особисті можливості. Хоча дві різниці потребують обчислювальних ресурсів з інших причин - Bitcoin потребує обчислювальних ресурсів, щоб забезпечити невід'ємність мережі, тоді як базовий ШІ потребує обчислювальних ресурсів для оптимізації та ітерації моделі - але спільним для них є те, що вони потребують ресурсів, які перевищують особисті можливості.
«Секрет» біткойна, як і будь-якої іншої криптомережі, в тому, щоб мати можливість стимулювати учасників вносити ресурси в проекти програмного забезпечення з відкритим вихідним кодом, полягає в тому, щоб забезпечити право власності на мережу за допомогою токенів. Як зазначено в основоположній філософії Джессі, написаній для Variant у 2020 році, право власності є сильним стимулом для постачальників ресурсів бути готовими вносити ресурси в обмін на потенційні прибутки в мережі. Цей механізм схожий на те, як стартапи вирішують проблему недофінансування на ранніх стадіях за допомогою «потового капіталу» – оплачуючи працівникам на ранніх стадіях (наприклад, засновникам) переважно у формі власності компанії, стартапи можуть залучати робочу силу, яку інакше вони не змогли б собі дозволити. Криптографія розширює концепцію «потового капіталу» від зосередження на тих, хто витрачає час, до постачальників ресурсів. Як наслідок, Variant зосереджується на інвестуванні в проєкти, які використовують механізми власності для створення мережевих ефектів, такі як Uniswap, Morpho та World.
Якщо ми хочемо, щоб відкритий штучний інтелект став реальністю, то механізм власності, реалізований за допомогою шифрування, є ключовим рішенням проблеми ресурсів. Цей механізм дозволяє дослідникам вільно внести свої концепції дизайну моделей у відкриті проекти, оскільки обчислювальні та даних ресурси, необхідні для реалізації цих ідей, буде забезпечувати постачальник ресурсів, який отримає часткову власність проекту як винагороду, а не вимагатиме від дослідників покриття високих початкових витрат. У відкритому штучному інтелекті власність може мати кілька форм, але однією з найбільш очікуваних є власність на саму модель, що є запропонованим рішенням Pluralis.
Підхід, запропонований Pluralis, відомий як протокольні моделі. У цій моделі постачальник обчислювальних ресурсів може внести обчислювальну потужність для навчання конкретної моделі з відкритим вихідним кодом і, таким чином, отримати часткове право власності на майбутній дохід від висновків цієї моделі. Оскільки це право власності прив'язане до конкретної моделі, а його цінність базується на доході від висновків моделі, постачальники обчислювальних ресурсів зацікавлені у виборі оптимальної моделі для навчання без фальсифікації навчальних даних (оскільки надання непотрібного навчання безпосередньо зменшує очікувану вартість майбутнього доходу від висновків). Однак ключове питання полягає в наступному: як Pluralis забезпечує безпеку володіння, якщо процес навчання вимагає, щоб ваги моделі були відправлені постачальнику обчислень? Відповідь полягає у використанні паралельного паралелізму моделі для розподілу шардів моделі між різними працівниками. Важливою особливістю нейронних мереж є те, що навіть якщо відома лише крихітна частка ваг моделі, обчислювач все одно може брати участь у навчанні, гарантуючи, що повний набір ваг не може бути вилучений. Крім того, оскільки на платформі Pluralis одночасно тренується багато різних моделей, тренер зіткнеться з великою кількістю різних наборів ваги, що надзвичайно ускладнює перебудову повної моделі.
Основна ідея моделей протоколу полягає в тому, що їх можна тренувати і використовувати, але їх неможливо повністю витягнути з протоколу (якщо використовується обчислювальна потужність, яка перевищує ресурси, необхідні для тренування моделі з нуля). Цей механізм вирішує проблему, яку часто ставлять перед відкритими критиками штучного інтелекту, а саме можливість того, що закриті конкуренти зловживають працею, внесеною відкритими проектами.
Чому шифрування + відкрите джерело = кращий штучний інтелект
У вступі до статті я аналізую контроль великих технологічних компаній над штучним інтелектом і пояснюю етичні та нормативні проблеми закритого штучного інтелекту. Але в епоху безсилля в мережі я хвилююся, що такі аргументи можуть важко сприймати більшість читачів. Тому я хочу виходити з реальних результатів і навести дві причини, які пояснюють, чому відкритий штучний інтелект, підтримуваний шифруванням, може дійсно забезпечити кращий штучний інтелект.
Спочатку поєднання криптографічних технологій і відкритого штучного інтелекту може координувати більше ресурсів, що сприятиме розвитку наступного покоління основних моделей (Foundation Models). Дослідження показують, що як збільшення обчислювальних можливостей, так і ресурсів даних сприяють покращенню продуктивності моделей. Це також пояснює, чому масштаби основних моделей постійно зростають. Біткойн показав нам потенціал відкритих програмних засобів у поєднанні з криптографічними технологіями в області обчислювальних можливостей. Він став найбільшим та потужним обчислювальним мережевим ресурсом у світі, розміри якого відчутно перевищують ресурси хмарних обчислень великих технологічних компаній. Унікальність криптографічних технологій полягає в тому, що вони можуть перетворити відокремлену конкуренцію на співпрацюючу конкуренцію. Шляхом стимулювання постачальників ресурсів до внесення внеску у вирішення загальних проблем, а не ведення війни та повторного виконання роботи, криптографічні мережі забезпечують ефективне використання ресурсів. Використання відкритого штучного інтелекту з використанням криптографічних технологій дозволить використовувати глобальні обчислювальні та даних ресурси для створення моделей, розмір яких відчутно перевищує розмір закритого штучного інтелекту. Наприклад, компанія Hyperbolic вже показала потенціал цього підходу. Через відкритий ринок будь-хто може здешевлено орендувати GPU та повною мірою використовувати розподілені обчислювальні ресурси.
По-друге, поєднання шифрування та відкритого джерела ШІ сприятиме прискоренню інновацій. Це відбувається тому, що раз вирішено проблему ресурсів, дослідники з галузі машинного навчання зможуть повернутися до свого відкритого природного суттєвого спрямування на високий рівень ітерацій та інновацій. До появи базових моделей великих мов (LLM) дослідники з галузі машинного навчання зазвичай публікували свої моделі та репліковані схеми проектування. Ці моделі, як правило, використовують відкриті набори даних, а обчислювальні вимоги відносно низькі, що дозволяє дослідникам постійно вдосконалювати та інноваційно підходити до цих основ. Цей відкритий ітераційний процес породив безліч проривів у сфері послідовностей, таких як рекурентна нейронна мережа (RNN), довготривала пам'ять (LSTM) та механізми уваги (Attention Mechanisms), що нарешті зробило можливим архітектуру моделі Transformer. Однак цей відкритий спосіб дослідження змінився після випуску GPT-3. OpenAI довів успіх GPT-3 та ChatGPT, що за умови належних обчислювальних ресурсів та даних можна навчити велику модель мови з розумінням мови. Ця тенденція призвела до різкого зростання бар'єру ресурсів, що призводить до відчутного відчуження академічного світу, а також до того, що великі технологічні компанії вже не розкривають свої архітектури моделей, щоб зберегти конкурентну перевагу. Ця ситуація обмежує нашу здатність просувати передові технології ШІ.
Відкритий штучний інтелект, реалізований за допомогою шифрування, може змінити цю ситуацію. Це дозволяє дослідникам знову ітерувати передові моделі, щоб виявити "наступний Трансформер". Це поєднання допомагає вирішити проблеми ресурсів та знову активізувати інноваційну потужність у галузі машинного навчання, відкриваючи більш широкі можливості для майбутнього розвитку штучного інтелекту.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Variant інвестиційний партнер: проблеми та прориви відкритого вихідного коду AI, чому шифрування - останній краплі по головоломці?
Автор: Даніель Барабандер
Компіляція: TechFlow Deep Tide
Короткий огляд
Розробка основних AI в даний час контролюється кількома технологічними компаніями, що виявляє закритість та відсутність конкуренції.
Розробка відкритого програмного забезпечення, хоча й є потенційним рішенням, проте базова штучна інтелектуальність не може працювати так само, як традиційні відкриті проекти (наприклад, Linux), тому що вона стикається з «проблемою ресурсів»: учасники відкритого програмного забезпечення не тільки витрачають час, але й несуть обчислювальні та витрати на дані, які перевищують їх особисті можливості.
Криптовалюта може вирішити проблему ресурсів, залучаючи постачальників до участі в основному відкритому проекті штучного інтелекту.
Поєднуючи відкрите штучного інтелекту та криптотехнології, можна підтримувати розробку більш масштабних моделей та сприяти більшій кількості інновацій, створюючи більш передові системи штучного інтелекту.
Вступ
Згідно з опитуванням, проведеним П'ю Ресерч Центром в 2024 році, 64% американців вважають, що вплив соціальних медіа на країну шкідливий, ніж корисний; 78% вважають, що соціальні медіа-компанії мають надто велику політичну владу та вплив; 83% вважають, що ці платформи ймовірно свідомо цензурують політичні погляди, з якими вони не погоджуються. Незадоволення соціальними медіа майже стало рідкістю в американському суспільстві.
Озираючись назад на еволюцію соціальних мереж за останні 20 років, ця ситуація здається передбачуваною. Історія не складна: кілька великих технологічних компаній привернули увагу користувачів і, що важливіше, дані користувачів. Незважаючи на початкові надії на відкриті дані, компанії швидко змінили свою стратегію, використовуючи дані для створення незламних мережевих ефектів і відключення зовнішнього доступу. Результатом є сьогоднішня ситуація: менше 10 великих технологічних компаній домінують в індустрії соціальних мереж, створюючи «олігопольний» ландшафт. Оскільки статус-кво надзвичайно сприятливий для них, у цих компаній мало стимулів до змін. Ця модель закрита і позбавлена конкуренції.
Здається, що сьогодні траєкторія розвитку AI-технологій повторює цю сцену, але цього разу її вплив є більш глибоким. Кілька технологічних компаній, володіючи GPU та даними, створили базові моделі штучного інтелекту і закрили доступ до них. Для нових учасників, які не мають мільярдів доларів, розробка конкурентоспроможної моделі практично неможлива. Вартість просто тренувати базову модель складається з мільярдів доларів, а компанії соціальних медіа, які здобули користь від попередньої технологічної хвилі, використовують своє володіння ексклюзивними користувацькими даними, щоб розробити недосяжні конкурентам моделі. Ми повторюємо помилку соціальних медіа і рухаємось до закритого та не конкурентного світу AI. Якщо ця тенденція продовжиться, декілька технологічних компаній матимуть необмежений контроль над отриманням інформації та можливостей.
Відкритий штучний інтелект та "проблема ресурсів"
Якщо ми не хочемо бачити закрите світове АІ, то який вибір ми маємо? Очевидна відповідь полягає в тому, щоб розробити основні моделі як проекти відкритих джерел програмного забезпечення. У минулому ми вже мали безліч відкритих проектів, які успішно створювали базове програмне забезпечення, на якому ми зазвичай спираємось. Наприклад, успіх Linux свідчить про те, що навіть таке ядро системи може бути розроблено відкритим способом. Тому чому б не зробити те ж саме з LLM (великими мовними моделями)?
Проте базові моделі штучного інтелекту стикаються зі специфічними обмеженнями, які відрізняють їх від традиційного програмного забезпечення, що значно підірвало їхню придатність як традиційного відкритого проекту. Зокрема, для базових моделей штучного інтелекту потрібні величезні обчислювальні та даних ресурси, які далеко виходять за межі можливостей окремої особи. На відміну від традиційних відкритих проектів, які залежать виключно від пожертв часу людей, відкритий штучний інтелект також вимагає пожертв обчислювальних ресурсів та даних, і це є так званою "проблемою ресурсів".
На прикладі моделі LLaMa Meta ми можемо краще зрозуміти цю проблему ресурсів. На відміну від конкурентів, таких як OpenAI і Google, Meta не приховує модель за платним API, а надає відкритий доступ до ваг LLaMa для безкоштовного використання будь-якими особами (з деякими обмеженнями). Ці ваги містять знання, які модель вивчила під час навчання на Meta, і є необхідною умовою для роботи моделі. Маючи ці ваги, користувачі можуть налаштовувати модель або використовувати виведені моделі як вхідні дані для нових моделей.
Хоча Meta визнавала вагомість LLaMa, це все одно не можна вважати справжнім відкритим проектом програмного забезпечення. Meta знаходиться за кулісами контролює процес навчання моделі, покладаючись на власні обчислювальні ресурси, дані та рішення, і односторонньо вирішує, коли відкрити цю модель для громадськості. Meta не запрошує незалежних дослідників або розробників для співпраці в спільноті, оскільки ресурси, необхідні для навчання або повторного навчання моделі, далеко перевищують можливості звичайної людини. Ці ресурси включають десятки тисяч високопродуктивних графічних процесорів, центри обробки даних для цих процесорів, складні системи охолодження та десятки трильйонів токенів (одиниць текстових даних, необхідних для навчання моделі). Як зазначено у звіті індексу штучного інтелекту Стенфордського університету 2024 року, «різке зростання вартості навчання фактично виключає провідні університети, які традиційно є центрами досліджень зі штучного інтелекту, з розробки передових базових моделей». Наприклад, Сем Альтман зазначив, що вартість навчання GPT-4 становить до 100 мільйонів доларів, і це навіть не включає витрати на апаратне забезпечення. Крім того, капітальні витрати Meta у другому кварталі 2024 року збільшилися на 2,1 мільярда доларів у порівнянні з аналогічним періодом 2023 року, головним чином на сервери, центри обробки даних та мережеву інфраструктуру, пов'язану з навчанням моделі штучного інтелекту. Тому, незважаючи на те, що спільнота внесення внеску до LLaMa може мати технічні знання для поліпшення архітектури моделі, вони не мають достатнього ресурсу для здійснення цих поліпшень.
Узагальнюючи, у відміну від традиційних проектів з відкритим вихідним кодом, проекти з відкритими ШІ вимагають не лише від учасників вкладати час, а й нести великі витрати на обчислення та дані. Розраховувати лише на доброзичливість та дух добровольця, щоб забезпечити достатню кількість ресурсів, є нереалістичним. Вони потребують додаткових стимулів. Нехай візьмемо на приклад відкриту велику модель BLOOM, яка об'єднує зусилля 1000 волонтерських дослідників з більш ніж 70 країн і більш ніж 250 установ з більш як 1760 мільярдами параметрів. Хоча успіх BLOOM гідний захвату (я повністю підтримую це), але для координації одного навчання знадобилось рік і залежало від фінансування в розмірі 3 мільйонів євро від французької дослідницької установи (це ще не включає витрати на капітальні вкладення у суперкомп'ютери, які використовуються для навчання моделі). Залежність від нового раунду фінансування для координації та ітерації BLOOM є надто складною і не може конкурувати з швидкістю розвитку великих технологічних лабораторій. З моменту випуску BLOOM минуло понад два роки, і наразі не було чуток про розробку будь-яких наступних моделей командою.
Для того щоб зробити відкрите штучний інтелект можливим, нам потрібно знайти спосіб стимулювати постачальників ресурсів внести свій внесок у обчислювальну потужність та ресурси даних, а не дозволяти відкритим внескам взяти на себе ці витрати.
Чому криптографічна технологія може вирішити "проблему ресурсів" в основі відкритого штучного інтелекту
Основним проривом у криптографічній технології є механізм «власності», який робить можливими високоресурсні проекти з відкритим кодом. Він вирішує проблему ресурсів у відкритому штучному інтелекті, заохочуючи потенційних постачальників ресурсів брати участь у мережі, а не передбачати витрати на ці ресурси для внесення внеску у відкритий код.
Bitcoin є чудовим прикладом. Як перший криптографічний проект, Bitcoin є повністю відкритим програмним проектом, код якого з самого початку був відкритий. Однак код сам по собі не є ключем до Bitcoin. Просто завантаження та запуск програмного вузла Bitcoin, створення ланцюжка блоків на локальному комп'ютері, не має реального значення. І лише коли обчислювальна потужність блоків, які вийшли за межі можливостей будь-якого окремого внеску, то справжня цінність цього програмного забезпечення може бути проявлено: підтримка децентралізованої, неконтрольованої книги обліку. Подібно до відкритого джерела базового штучного інтелекту, Bitcoin є відкритим проектом, який потребує ресурсів, що перевищують особисті можливості. Хоча дві різниці потребують обчислювальних ресурсів з інших причин - Bitcoin потребує обчислювальних ресурсів, щоб забезпечити невід'ємність мережі, тоді як базовий ШІ потребує обчислювальних ресурсів для оптимізації та ітерації моделі - але спільним для них є те, що вони потребують ресурсів, які перевищують особисті можливості.
«Секрет» біткойна, як і будь-якої іншої криптомережі, в тому, щоб мати можливість стимулювати учасників вносити ресурси в проекти програмного забезпечення з відкритим вихідним кодом, полягає в тому, щоб забезпечити право власності на мережу за допомогою токенів. Як зазначено в основоположній філософії Джессі, написаній для Variant у 2020 році, право власності є сильним стимулом для постачальників ресурсів бути готовими вносити ресурси в обмін на потенційні прибутки в мережі. Цей механізм схожий на те, як стартапи вирішують проблему недофінансування на ранніх стадіях за допомогою «потового капіталу» – оплачуючи працівникам на ранніх стадіях (наприклад, засновникам) переважно у формі власності компанії, стартапи можуть залучати робочу силу, яку інакше вони не змогли б собі дозволити. Криптографія розширює концепцію «потового капіталу» від зосередження на тих, хто витрачає час, до постачальників ресурсів. Як наслідок, Variant зосереджується на інвестуванні в проєкти, які використовують механізми власності для створення мережевих ефектів, такі як Uniswap, Morpho та World.
Якщо ми хочемо, щоб відкритий штучний інтелект став реальністю, то механізм власності, реалізований за допомогою шифрування, є ключовим рішенням проблеми ресурсів. Цей механізм дозволяє дослідникам вільно внести свої концепції дизайну моделей у відкриті проекти, оскільки обчислювальні та даних ресурси, необхідні для реалізації цих ідей, буде забезпечувати постачальник ресурсів, який отримає часткову власність проекту як винагороду, а не вимагатиме від дослідників покриття високих початкових витрат. У відкритому штучному інтелекті власність може мати кілька форм, але однією з найбільш очікуваних є власність на саму модель, що є запропонованим рішенням Pluralis.
Підхід, запропонований Pluralis, відомий як протокольні моделі. У цій моделі постачальник обчислювальних ресурсів може внести обчислювальну потужність для навчання конкретної моделі з відкритим вихідним кодом і, таким чином, отримати часткове право власності на майбутній дохід від висновків цієї моделі. Оскільки це право власності прив'язане до конкретної моделі, а його цінність базується на доході від висновків моделі, постачальники обчислювальних ресурсів зацікавлені у виборі оптимальної моделі для навчання без фальсифікації навчальних даних (оскільки надання непотрібного навчання безпосередньо зменшує очікувану вартість майбутнього доходу від висновків). Однак ключове питання полягає в наступному: як Pluralis забезпечує безпеку володіння, якщо процес навчання вимагає, щоб ваги моделі були відправлені постачальнику обчислень? Відповідь полягає у використанні паралельного паралелізму моделі для розподілу шардів моделі між різними працівниками. Важливою особливістю нейронних мереж є те, що навіть якщо відома лише крихітна частка ваг моделі, обчислювач все одно може брати участь у навчанні, гарантуючи, що повний набір ваг не може бути вилучений. Крім того, оскільки на платформі Pluralis одночасно тренується багато різних моделей, тренер зіткнеться з великою кількістю різних наборів ваги, що надзвичайно ускладнює перебудову повної моделі.
Основна ідея моделей протоколу полягає в тому, що їх можна тренувати і використовувати, але їх неможливо повністю витягнути з протоколу (якщо використовується обчислювальна потужність, яка перевищує ресурси, необхідні для тренування моделі з нуля). Цей механізм вирішує проблему, яку часто ставлять перед відкритими критиками штучного інтелекту, а саме можливість того, що закриті конкуренти зловживають працею, внесеною відкритими проектами.
Чому шифрування + відкрите джерело = кращий штучний інтелект
У вступі до статті я аналізую контроль великих технологічних компаній над штучним інтелектом і пояснюю етичні та нормативні проблеми закритого штучного інтелекту. Але в епоху безсилля в мережі я хвилююся, що такі аргументи можуть важко сприймати більшість читачів. Тому я хочу виходити з реальних результатів і навести дві причини, які пояснюють, чому відкритий штучний інтелект, підтримуваний шифруванням, може дійсно забезпечити кращий штучний інтелект.
Спочатку поєднання криптографічних технологій і відкритого штучного інтелекту може координувати більше ресурсів, що сприятиме розвитку наступного покоління основних моделей (Foundation Models). Дослідження показують, що як збільшення обчислювальних можливостей, так і ресурсів даних сприяють покращенню продуктивності моделей. Це також пояснює, чому масштаби основних моделей постійно зростають. Біткойн показав нам потенціал відкритих програмних засобів у поєднанні з криптографічними технологіями в області обчислювальних можливостей. Він став найбільшим та потужним обчислювальним мережевим ресурсом у світі, розміри якого відчутно перевищують ресурси хмарних обчислень великих технологічних компаній. Унікальність криптографічних технологій полягає в тому, що вони можуть перетворити відокремлену конкуренцію на співпрацюючу конкуренцію. Шляхом стимулювання постачальників ресурсів до внесення внеску у вирішення загальних проблем, а не ведення війни та повторного виконання роботи, криптографічні мережі забезпечують ефективне використання ресурсів. Використання відкритого штучного інтелекту з використанням криптографічних технологій дозволить використовувати глобальні обчислювальні та даних ресурси для створення моделей, розмір яких відчутно перевищує розмір закритого штучного інтелекту. Наприклад, компанія Hyperbolic вже показала потенціал цього підходу. Через відкритий ринок будь-хто може здешевлено орендувати GPU та повною мірою використовувати розподілені обчислювальні ресурси.
По-друге, поєднання шифрування та відкритого джерела ШІ сприятиме прискоренню інновацій. Це відбувається тому, що раз вирішено проблему ресурсів, дослідники з галузі машинного навчання зможуть повернутися до свого відкритого природного суттєвого спрямування на високий рівень ітерацій та інновацій. До появи базових моделей великих мов (LLM) дослідники з галузі машинного навчання зазвичай публікували свої моделі та репліковані схеми проектування. Ці моделі, як правило, використовують відкриті набори даних, а обчислювальні вимоги відносно низькі, що дозволяє дослідникам постійно вдосконалювати та інноваційно підходити до цих основ. Цей відкритий ітераційний процес породив безліч проривів у сфері послідовностей, таких як рекурентна нейронна мережа (RNN), довготривала пам'ять (LSTM) та механізми уваги (Attention Mechanisms), що нарешті зробило можливим архітектуру моделі Transformer. Однак цей відкритий спосіб дослідження змінився після випуску GPT-3. OpenAI довів успіх GPT-3 та ChatGPT, що за умови належних обчислювальних ресурсів та даних можна навчити велику модель мови з розумінням мови. Ця тенденція призвела до різкого зростання бар'єру ресурсів, що призводить до відчутного відчуження академічного світу, а також до того, що великі технологічні компанії вже не розкривають свої архітектури моделей, щоб зберегти конкурентну перевагу. Ця ситуація обмежує нашу здатність просувати передові технології ШІ.
Відкритий штучний інтелект, реалізований за допомогою шифрування, може змінити цю ситуацію. Це дозволяє дослідникам знову ітерувати передові моделі, щоб виявити "наступний Трансформер". Це поєднання допомагає вирішити проблеми ресурсів та знову активізувати інноваційну потужність у галузі машинного навчання, відкриваючи більш широкі можливості для майбутнього розвитку штучного інтелекту.