Згідно з "Attention Is All You Need" — ключ до прориву в AI

У 2024 році на конференції GTC сталася цікава подія: засновник NVIDIA Дженсен Хуанг провів групову дискусію з 8 інженерами Google, один з яких виявився засновником NEAR. Ці 8 інженерів 7 років тому спільно опублікували статтю «Attention Is All You Need», яка досі цитована понад 110 000 разів. Можливо, вони й не очікували, що дослідження, опубліковане 12 червня 2017 року, так глибоко переформатує всю індустрію штучного інтелекту.

Як Transformer революціонізував спосіб навчання AI

Уявіть, що людський мозок — це амазонські тропічні ліси — заповнений різноманітними функціональними зонами, з’єднаними щільними шляхами. Нейрони — це посланці цих шляхів, здатні передавати і отримувати сигнали в будь-яку частину мозку. Ця структура надає людському мозку потужні можливості для навчання і розпізнавання.

Архітектура Transformer саме намагається імітувати цей механізм нейронної мережі. Вона вводить механізм самодопомоги (self-attention), подолавши обмеження ранніх RNN (рекурентних нейронних мереж) — які могли обробляти послідовності лише поетапно, тоді як Transformer здатен одночасно аналізувати всі частини послідовності, що дозволяє вловлювати довгострокові залежності і контекст. Звісно, наразі рівень технологій ще не досягає й десятої частини людського мозку.

Від голосових асистентів, таких як Siri, до сучасних ChatGPT — еволюція AI проходить через ітерації моделей серії Transformer: з’являються XLNet, BERT, GPT та інші похідні. З-поміж них GPT найбільш відомий, але у здатності передбачати події він ще має суттєві недоліки.

Наступний ключовий аспект великих мовних моделей — здатність до часової інтеграції

Attention Is All You Need — це основний внесок у механізм уваги, тоді як наступний великий прорив в AI — це часовий інтеграційний трансформер (TFT). Коли великі мовні моделі (LLM) зможуть прогнозувати майбутні події на основі історичних даних і шаблонів, це стане великим кроком до реалізації загального штучного інтелекту (AGI).

TFT не лише може прогнозувати майбутні значення, а й пояснювати логіку своїх прогнозів. Ця здатність має унікальне застосування у блокчейн-індустрії. За допомогою визначення правил у моделі, TFT може автоматично керувати процесами консенсусу, підвищувати швидкість блокування, винагороджувати чесних валідаторів і карати зловмисників.

Нові можливості для механізмів консенсусу у блокчейні

Механізм консенсусу у публічних мережах — це в основі гра між валідаторами: потрібно, щоб понад дві третини валідаторів погодилися щодо того, хто створить наступний блок. Цей процес часто супроводжується суперечками, що знижує ефективність мереж, наприклад, Ethereum.

Впровадження TFT відкриває нові ідеї. Публічні ланцюги можуть створити систему репутацій на основі історії голосувань валідаторів, записів пропозицій блоків, Slash-ів, суми стейкінгу та активності. Валідатори з високою репутацією отримують більше нагород за блоки, що підвищує швидкість їх створення.

Проект BasedAI намагається реалізувати цей підхід, плануючи використовувати модель TFT для розподілу токенів між валідаторами і учасниками мережі. Також він інтегрує технологію повного гомоморфного шифрування (FHE), що дозволяє розробникам розгортати приватні великі мовні моделі (Zk-LLMs) на своїй децентралізованій AI-інфраструктурі «Brains».

Приватність і шифрування: ключовий крок до AGI

Перевага FHE у тому, що користувачі можуть активувати персоналізовані AI-сервіси, зберігаючи свої дані у повністю зашифрованому вигляді. Технології нульових знань (ZkML), Blind Computation і гомоморфне шифрування заповнюють цю прогалину.

Коли люди будуть впевнені, що їхні дані захищені шифруванням і вони готові ділитися даними у повній приватності, ми будемо близькі до прориву у створенні AGI. Це пов’язано з тим, що для реалізації AGI потрібні величезні багатовимірні дані, а наразі побоювання користувачів щодо безпеки даних стримують їхній потік.

Проте реальні виклики залишаються — усі ці технології приватності потребують значних обчислювальних ресурсів, що робить їх ще на ранніх етапах застосування, і до масштабного розгортання ще далеко. Але тенденція вже очевидна: двері, відкриті Attention Is All You Need, будуть відкриватися далі завдяки злиттю приватності, обчислень і консенсусу, ведучи нас у нову еру.