Saya belum mengatasi kekurangan besar ini.

Masih menghantui saya karena itu adalah taruhan paling jelas bagi siapa saja yang memperhatikan, namun saya tidak menginvestasikan satu dolar pun.

Tidak, ini bukan pembunuh Solana berikutnya atau memecoin dengan anjing yang mengenakan topi lucu.

Itu adalah… NVIDIA.

Harga saham NVDA sepanjang tahun. Sumber: Google

Hanya dalam satu tahun, NVDA melonjak 3x, melonjak dari kapitalisasi pasar $1T menjadi $3T. Bahkan melebihi kinerja Bitcoin selama periode yang sama.

Tentu saja, sebagian dari itu adalah hipe AI. Tetapi sebagian besar dari itu didasarkan pada kenyataan. NVIDIA melaporkan pendapatan sebesar $60 miliar untuk FY2024, peningkatan yang mencengangkan sebesar 126% dari tahun 2023. Pertumbuhan ini didorong oleh Big Tech yang mengambil GPU dalam perlombaan senjata AI global menuju AGI.

Jadi mengapa saya melewatinya?

Selama dua tahun, saya sangat fokus pada kripto dan tidak melihat ke arah luar untuk melihat apa yang terjadi di bidang kecerdasan buatan. Itu adalah kesalahan besar, dan itu masih mengganggu saya.

Tapi saya tidak membuat kesalahan yang sama dua kali.

Hari ini, Crypto AI terasa sangat mirip. Kita berada di ambang ledakan inovasi. Paralel dengan Demam Emas California pada pertengahan abad ke-19 sulit diabaikan - industri dan kota tumbuh dalam semalam, infrastruktur maju dengan kecepatan tinggi, dan kekayaan dibuat oleh mereka yang berani melompat.

Seperti NVIDIA pada awalnya, Kripto AI akan terasa jelas ketika dilihat ke belakang.

Di Bagian I dari tesis saya, Saya menjelaskan mengapa Kripto AI adalah peluang underdog paling menarik untuk para investor dan pembangun saat ini.

Berikut adalah ringkasan singkat:

• Banyak orang masih menganggapnya sebagai ‘vaporware’.
• Kripto AI berada dalam siklus awalnya - kemungkinan 1-2 tahun lagi dari puncak kegembiraan.
• Ada peluang pertumbuhan lebih dari $230M di ruang ini, setidaknya.

Pada intinya, Crypto AI adalah AI dengan infrastruktur kripto yang disusun di atasnya. Ini berarti lebih mungkin untuk melacak lintasan pertumbuhan eksponensial AI daripada pasar kripto secara keseluruhan. Jadi, untuk tetap unggul, Anda harus membiasakan diri dengan penelitian AI terbaru di Arxiv dan berbicara dengan para pendiri yang yakin bahwa mereka sedang membangun sesuatu yang besar berikutnya.

Di Bagian II tesis saya, saya akan menyelami empat subsektor paling menjanjikan dalam Kripto AI:

1. Komputasi Terdesentralisasi: Pelatihan, Inferensi & pasar GPU
2. Jaringan data
3. AI yang dapat diverifikasi
4. AI Agen yang tinggal di rantai

Potongan ini mewakili puncak dari berbulan-bulan penelitian mendalam dan percakapan dengan pendiri dan tim di berbagai bidang Crypto AI. Ini tidak dirancang untuk menjadi panduan mendalam yang lengkap untuk setiap sektor - itu adalah lubang kelinci untuk hari lain.

Sebagai gantinya, anggaplah itu sebagai peta jalan tingkat tinggi yang dirancang untuk memancing rasa ingin tahu, mempertajam riset Anda, dan membimbing pemikiran investasi.

Memetakan lanskap

Saya membayangkan tumpukan AI terdesentralisasi sebagai ekosistem berlapis: dimulai dengan komputasi terdesentralisasi dan jaringan data terbuka di satu ujung, yang menggerakkan pelatihan model AI terdesentralisasi.

Setiap inferensi kemudian diverifikasi - baik input maupun output - menggunakan kombinasi kriptografi, insentif kriptoekonomi, dan jaringan evaluasi. Output yang diverifikasi ini mengalir ke agen AI yang dapat beroperasi secara mandiri on-chain, serta aplikasi AI konsumen dan perusahaan yang pengguna benar-benar bisa percaya.

Jaringan koordinasi mengikat semuanya menjadi satu, memungkinkan komunikasi dan kolaborasi tanpa hambatan di seluruh ekosistem.

Dalam visi ini, siapa pun yang membangun di bidang kecerdasan buatan dapat menggunakan satu atau lebih lapisan dari tumpukan ini, tergantung pada kebutuhan spesifik mereka. Baik itu memanfaatkan komputasi terdesentralisasi untuk pelatihan model atau menggunakan jaringan evaluasi untuk memastikan keluaran berkualitas tinggi, tumpukan ini menawarkan berbagai pilihan.

Berkat komposabilitas alami blockchain, saya percaya kita secara alami bergerak menuju masa depan modular. Setiap lapisan menjadi sangat khusus, dengan protokol yang dioptimalkan untuk fungsi yang berbeda daripada pendekatan terpadu yang all-in-one.

Sumber: topology.vc

Telah terjadi ledakan Kambrion dari startup yang membangun di setiap lapisan tumpukan AI terdesentralisasi, kebanyakan didirikan hanya dalam 1 - 3 tahun terakhir. Jelas: kita masih awal.

Peta paling komprehensif dan terkini dari lanskap startup Crypto AI yang pernah saya lihat dikelola oleh Casey dan timnya di gate.iotopology.vc. Ini adalah sumber daya yang sangat berharga bagi siapa pun yang melacak ruang ini.

Ketika saya mempelajari subsektor Crypto AI, saya selalu bertanya pada diri sendiri: seberapa besar peluang di sini? Saya tidak tertarik dengan taruhan kecil - saya mencari pasar yang dapat berkembang menjadi ratusan miliar.

1. Ukuran Pasar

Mari kita mulai dengan ukuran pasar. Ketika mengevaluasi subsektor, saya bertanya pada diri sendiri: apakah itu menciptakan pasar baru atau mengganggu yang sudah ada?

Ambillah komputasi terdesentralisasi sebagai contoh. Ini merupakan kategori yang mengganggu yang potensinya dapat diperkirakan dengan melihat pasar komputasi awan yang mapan, senilai ~$680B hari inidan diperkirakan akan mencapai $2.5T pada tahun 2032.

Pasar-pasar baru tanpa preseden, seperti agen AI, lebih sulit untuk diperkirakan. Tanpa data historis, menentukan ukurannya melibatkan campuran perkiraan yang berpendidikan dan pengecekan insting terhadap masalah yang mereka selesaikan. Dan jebakan nya adalah bahwa terkadang, apa yang terlihat seperti pasar baru sebenarnya hanya solusi yang mencari masalah.

2. Waktu

Waktu adalah segalanya. Teknologi cenderung membaik dan menjadi lebih murah dari waktu ke waktu, tetapi laju kemajuan bervariasi.

Seberapa matang teknologi dalam subsektor tertentu? Apakah sudah siap untuk berkembang, atau masih dalam tahap penelitian, dengan aplikasi praktis beberapa tahun lagi? Waktu menentukan apakah suatu sektor layak mendapat perhatian segera atau sebaiknya dibiarkan dalam kategori “tunggu dan lihat”.

Ambil Enkripsi Fully Homomorfik (FHE) sebagai contoh: potensinya tidak terbantahkan, tetapi saat ini masih terlalu lambat untuk digunakan secara luas. Kemungkinan kita masih beberapa tahun lagi sebelum melihatnya mencapai kelayakan mainstream. Dengan memfokuskan pada sektor yang lebih dekat dengan skala pertama, saya dapat menghabiskan waktu dan energi saya di mana momentum—dan peluang—sedang dibangun.

Jika saya harus memetakan kategori-kategori ini dalam grafik ukuran vs. waktu, maka akan terlihat seperti ini. Ingatlah bahwa ini lebih berupa sketsa konseptual daripada panduan yang pasti. Ada banyak nuansa—misalnya, dalam inferensi yang dapat diverifikasi, pendekatan yang berbeda seperti zkML dan opML berada pada tingkat kesiapan yang berbeda untuk digunakan.

Dengan begitu, saya yakin bahwa skala AI akan sangat besar sehingga bahkan apa pun yang terlihat “niche” hari ini bisa berkembang menjadi pasar yang signifikan.

Sangat penting untuk dicatat bahwa kemajuan teknologi tidak selalu mengikuti garis lurus - seringkali terjadi dalam loncatan. Pandangan saya tentang waktu dan ukuran pasar akan berubah ketika terjadi terobosan yang muncul.

Dengan kerangka ini dalam pikiran, mari kitauraikan masing-masing sub-sektor.

Sektor 1: Komputasi terdesentralisasi

Singkatnya; tidak terlalu panjang

• Komputasi terdesentralisasi adalah tulang punggung Kecerdasan Buatan terdesentralisasi.
• Pasar GPU, pelatihan terdesentralisasi dan inferensi terdesentralisasi saling terkait dan berkembang bersama.
• Sisi pasokan biasanya berasal dari pusat data tingkat menengah kecil dan GPU konsumen.
• Pihak permintaan kecil namun berkembang. Hari ini datang dari pengguna yang peka terhadap harga, tidak peka terhadap latensi, dan startup AI yang lebih kecil.
• Tantangan terbesar bagi pasar GPU Web3 saat ini adalah membuatnya benar-benar berfungsi.
• Mengatur GPU di seluruh jaringan terdesentralisasi memerlukan rekayasa canggih dan arsitektur jaringan yang kokoh dan didesain dengan baik.

1.1. Pasar GPU / Jaringan Komputasi

Beberapa tim AI Kripto sedang memposisikan diri untuk mendapatkan keuntungan dari kurangnya GPU dibandingkan dengan permintaan dengan membangun jaringan terdesentralisasi yang memanfaatkan kekuatan komputasi laten global.

Proposisi nilai inti bagi pasar GPU adalah 3-fold:

1. Anda dapat mengakses komputasi dengan biaya “hingga 90% lebih murah” dari AWS, yang berasal dari (1) menghapus perantara dan (2) membuka sisi pasokan. Pada dasarnya, pasar ini memungkinkan Anda untuk memanfaatkan biaya margin terendah dari komputasi secara global.
2. Fleksibilitas yang lebih besar: Tidak ada kontrak penguncian, tidak perlu KYC, tidak ada waktu tunggu.
3. Ketahanan sensor

Untuk mengatasi sisi pasokan pasar, pasar ini mendapatkan komputasi dari:

• GPU kelas enterprise (mis. A100s, H100s) dari pusat data tingkat kecil-menengah kesulitan menemukan permintaan sendiri atau penambang Bitcoin yang mencari diversifikasi. Saya juga tahu tentang tim-tim yang memanfaatkan proyek-proyek infrastruktur pemerintah besar, di mana pusat data telah dibangun sebagai bagian dari inisiatif pertumbuhan teknologi. Para penyedia ini seringkali diberi insentif untuk menjaga GPU mereka di jaringan, yang membantu mereka mengimbangi biaya amortisasi GPU mereka.
• GPU konsumen dari jutaan gamer dan pengguna rumahan yang menghubungkan komputer mereka ke jaringan sebagai imbalan token.

Di sisi lain, permintaan untuk komputasi terdesentralisasi hari ini berasal dari:

1. Pengguna yang sensitif terhadap harga dan tidak sensitif terhadap latensi. Segmen ini mengutamakan ketersediaan harga dibandingkan kecepatan. Pikirkan para peneliti yang sedang menjelajahi bidang baru, pengembang AI indie, dan pengguna lain yang hemat biaya yang tidak membutuhkan pemrosesan real-time. Karena kendala anggaran, banyak dari mereka mungkin mengalami kesulitan dengan penyedia layanan hyperscaler tradisional seperti AWS atau Azure. Karena mereka cukup tersebar di seluruh populasi, pemasaran yang ditargetkan menjadi sangat penting untuk membawa kelompok ini bergabung.
2. Startup AI yang lebih kecil menghadapi tantangan dalam mendapatkan sumber daya komputasi yang fleksibel dan scalable tanpa terikat pada kontrak jangka panjang dengan penyedia cloud besar. Pengembangan bisnis menjadi sangat penting dalam menarik segmen ini, karena mereka aktif mencari alternatif untuk terikat dengan penyedia hyperscaler.
3. Start-up Crypto AI yang membangun produk AI terdesentralisasi tetapi tanpa pasokan komputasi mereka sendiri harus menggunakan sumber daya salah satu jaringan ini.
4. Cloud gaming: Meskipun bukan langsung didorong oleh kecerdasan buatan, cloud gaming adalah sumber permintaan yang meningkat untuk sumber daya GPU.

Hal kunci yang perlu diingat: pengembang selalu mengutamakan biaya dan keandalan.

Tantangan Sebenarnya: Permintaan, Bukan Penawaran

Start-up di ruang ini sering menonjolkan ukuran jaringan pasokan GPU mereka sebagai tanda kesuksesan. Tetapi ini menyesatkan - ini hanyalah metrik kesombongan pada tingkat terbaik.

Kendala sebenarnya bukan pasokan tetapi permintaan. Metrik kunci yang harus dilacak bukanlah jumlah GPU yang tersedia, tetapi tingkat pemanfaatan dan jumlah GPU yang benar-benar disewakan.

Token sangat baik dalam memulai sisi pasokan, menciptakan insentif yang diperlukan untuk cepat berkembang. Namun, secara inheren mereka tidak memecahkan masalah permintaan. Ujian sebenarnya adalah membuat produk mencapai kondisi yang cukup baik sehingga permintaan laten muncul.

Haseeb Qureshi (Dragonfly) menempatkan yang terbaik:

Membuat Jaringan Komputasi Benar-Benar Bekerja

Berbeda dengan kepercayaan populer, hambatan terbesar bagi pasar GPU terdistribusi web3 saat ini hanyalah membuatnya berfungsi dengan baik.

Ini bukan masalah yang sepele.

Mengatur GPU di seluruh jaringan terdistribusi adalah kompleks, dengan berbagai tantangan—alokasi sumber daya, skala beban kerja dinamis, keseimbangan beban di antara node dan GPU, pengelolaan waktu tunda, transfer data, toleransi kesalahan, dan penanganan perangkat keras yang beragam yang tersebar di berbagai wilayah geografis. Saya bisa terus berbicara.

Hal ini memerlukan rekayasa yang serius dan arsitektur jaringan yang kokoh dan dirancang dengan baik.

Untuk memberikan gambaran, pertimbangkan Kubernetes milik Google. Ini secara luas dianggap sebagai standar emas untuk orkestrasi kontainer, mengotomatisasi proses seperti penyeimbangan beban dan penskalaan di lingkungan terdistribusi—tantangan yang sangat mirip dengan yang dihadapi oleh jaringan GPU terdistribusi. Kubernetes sendiri dibangun dari pengalaman Google selama lebih dari satu dekade, dan bahkan pada saat itu, dibutuhkan bertahun-tahun iterasi tanpa henti untuk mendapatkan yang benar.

Beberapa pasar komputasi GPU yang sudah berjalan saat ini dapat menangani beban kerja skala kecil, tetapi kelemahan mulai terlihat begitu mereka mencoba untuk meningkatkan skala. Saya curiga hal ini terjadi karena mereka dibangun di atas fondasi arsitektur yang buruk.

Tantangan / peluang lain bagi jaringan komputasi terdesentralisasi adalah memastikan kepercayaan: memverifikasi bahwa setiap node benar-benar menyediakan daya komputasi yang mereka klaim. Saat ini, ini bergantung pada reputasi jaringan, dan dalam beberapa kasus, penyedia komputasi diberi peringkat berdasarkan skor reputasi. Blockchain tampaknya cocok dengan sistem verifikasi tanpa kepercayaan. Startup seperti GensyndanSpheronmendorong pendekatan tanpa kepercayaan untuk memecahkan masalah ini.

Hari ini, banyak tim web3 masih berusaha menavigasi tantangan-tantangan ini, artinya peluangnya masih terbuka lebar.

Ukuran Pasar Komputasi Terdesentralisasi

Seberapa besar pasar untuk jaringan komputasi terdesentralisasi?

Hari ini, mungkin hanya sebagian kecil dari industri komputasi awan senilai $680 miliar - $2,5 triliun. Namun, meskipun ada gesekan tambahan bagi pengguna, akan selalu ada permintaan selama biaya tetap lebih rendah dibandingkan penyedia tradisional.

Saya percaya biaya akan tetap lebih rendah dalam jangka waktu dekat hingga menengah karena campuran subsidi token dan pembebasan pasokan dari pengguna yang tidak sensitif terhadap harga (misalnya, jika saya bisa menyewakan laptop gaming saya untuk uang tambahan, saya senang apakah itu $20 atau $50 per bulan).

Namun potensi pertumbuhan sebenarnya untuk jaringan komputasi terdesentralisasi—dan ekspansi nyata dari TAM mereka—akan datang saat:

1. Pelatihan terdesentralisasi model AI menjadi praktis
2. Permintaan inferensi meledak dan pusat data yang ada tidak mampu memenuhinya. Ini sudah mulai terjadi. Jensen Huang mengatakan bahwa permintaan inferensi akan meningkatkan ‘sejuta kali’.
3. Perjanjian Layanan Tingkat Layanan (SLA) yang tepat menjadi tersedia, mengatasi hambatan kritis terhadap adopsi perusahaan. Saat ini, komputasi terdesentralisasi beroperasi berdasarkan upaya terbaik, meninggalkan pengguna dengan berbagai tingkat kualitas layanan (mis. % waktu aktif). Dengan adanya SLA, jaringan-jaringan ini bisa menawarkan standar kehandalan dan metrik kinerja, menjadikan komputasi terdesentralisasi sebagai alternatif yang layak bagi penyedia komputasi awan tradisional.

Komputasi terdesentralisasi dan tanpa izin menjadi lapisan dasar — infrastruktur dasar — untuk ekosistem AI terdesentralisasi.

Meskipun terjadi ekspansi yang berkelanjutan dalam rantai pasokan untuk silikon (yaitu GPU), saya percaya bahwa kita baru saja memasuki era Inteligensi umat manusia. Akan ada permintaan yang tak terpuaskan untuk komputasi.

Perhatikan titik balik yang dapat memicu perubahan penilaian besar-besaran dari semua pasar GPU yang bekerja. Kemungkinan besar akan segera datang.

Catatan Lain:

• Pasarnya GPU murni penuh sesak, dengan persaingan di antara platform terdesentralisasi dan juga munculnya web2 AI neocloudsseperti Vast.ai dan Lambda.
• Node kecil (misalnya, 4 x H100) tidak banyak diminati karena penggunaannya yang terbatas, tetapi semoga beruntung menemukan seseorang yang menjual cluster besar - mereka masih sangat diminati.
• Apakah pemain dominan akan mengumpulkan semua pasokan komputasi untuk protokol terdesentralisasi, atau akan tetap terpecah di antara beberapa pasar? Saya cenderung ke arah yang pertama dan distribusi hukum kekuatan dalam hasil, karena konsolidasi seringkali mendorong efisiensi dalam infrastruktur. Tapi akan membutuhkan waktu untuk bermain, dan sementara itu, fragmentasi dan kekacauan terus berlanjut.
• Pengembang ingin fokus pada membangun aplikasi, bukan mengurus penyebaran dan konfigurasi. Pasar harus mengabstraksi kompleksitas ini, membuat akses ke komputasi semudah mungkin.

1.2. Pelatihan Terdesentralisasi

TL;dr

• Jika hukum skalabilitas tetap berlaku, melatih generasi berikutnya model AI perbatasan di pusat data tunggal suatu hari nanti akan menjadi tidak mungkin secara fisik.
• Pelatihan model AI membutuhkan banyak transfer data antara GPU. Kecepatan transfer data (interkoneksi) rendah antara GPU yang terdistribusi sering menjadi hambatan terbesar.
• Para peneliti sedang menjelajahi beberapa pendekatan secara bersamaan, dan terjadi terobosan (misalnya Open DiLoCo, DisTrO). Kemajuan ini akan bertumpuk dan saling memperkuat, mempercepat kemajuan di ruang ini.
• Masa depan untuk pelatihan terdesentralisasi kemungkinan terletak pada model-model yang lebih kecil dan khusus yang dirancang untuk aplikasi niche daripada model-model yang fokus pada AGI di garis depan.
• Permintaan inferensi siap melonjak dengan pergeseran ke model-model seperti o1 OpenAI, menciptakan peluang bagi jaringan inferensi terdesentralisasi.

Bayangkan ini: sebuah model AI yang besar dan mengubah dunia, tidak dikembangkan di laboratorium elit yang penuh rahasia tetapi dibuat hidup oleh jutaan orang biasa. Para gamer, yang GPU-nya biasanya menghasilkan ledakan sinematik Call of Duty, sekarang menyumbangkan perangkat keras mereka untuk sesuatu yang lebih besar—sebuah model AI open-source yang dimiliki secara kolektif tanpa ada penjaga pusat.

Di masa depan ini, model skala fondasi bukan hanya domain dari laboratorium AI teratas.

Namun mari kita dasarkan visi ini pada keadaan saat ini. Saat ini, sebagian besar pelatihan AI yang berat tetap terpusat di pusat data, dan ini kemungkinan akan menjadi norma untuk beberapa waktu.

Perusahaan seperti OpenAI meningkatkan kluster besar mereka. Elon Musk baru-baru ini Mengumumkan bahwa xAI hampir menyelesaikan pusat data yang memiliki setara dengan 200.000 GPU H100.

Tapi ini bukan hanya tentang jumlah GPU mentah. Utilisasi FLOPS Model (MFU) - metrik yang diperkenalkan di Google’s makalah PaLMpada 2022—memonitor seberapa efektif kapasitas maksimum GPU digunakan. Mencengangkan, MFU seringkali berada di sekitar 35-40%.

Kenapa begitu rendah? Sementara kinerja GPU telah melonjak selama bertahun-tahun mengikuti hukum Moore, peningkatan jaringan, memori, dan penyimpanan jauh tertinggal, menciptakan bottleneck. Sebagai hasilnya, GPU sering menganggur, menunggu data.

Pelatihan kecerdasan buatan tetap sangat terpusat saat ini karena satu kata — Efisiensi.

Pelatihan model-model besar bergantung pada teknik seperti:

• Paralelisme data: Membagi dataset di beberapa GPU untuk melakukan operasi secara paralel, mempercepat proses pelatihan.

• Paralelisme model: Mendistribusikan bagian-bagian model di antara GPU untuk menghindari batasan memori.

Metode-metode ini memerlukan GPU untuk terus-menerus bertukar data, sehingga kecepatan interkoneksi—yaitu laju transfer data antar komputer dalam jaringan—sangatlah penting.

Ketika pelatihan model AI frontier bisa mencapai biaya lebih dari $1 miliar, setiap keuntungan efisiensi penting.

Dengan koneksi interkoneksi berkecepatan tinggi mereka, pusat data terpusat memungkinkan transfer data cepat antara GPU dan menciptakan penghematan biaya substansial selama waktu pelatihan yang setup terdesentralisasi tidak dapat mencocokkan…namun.

Mengatasi Kecepatan Interkoneksi Lambat

Jika Anda berbicara dengan orang-orang yang bekerja di bidang AI, banyak yang akan mengatakan bahwa pelatihan terdesentralisasi tidak akan berhasil.

Dalam pengaturan terdesentralisasi, kelompok GPU tidak terletak di tempat yang sama secara fisik, sehingga transfer data antara mereka lebih lambat dan menjadi bottleneck. Pelatihan membutuhkan GPU untuk melakukan sinkronisasi dan pertukaran data pada setiap langkah. Semakin jauh mereka terpisah, semakin tinggi laten. Laten yang lebih tinggi berarti kecepatan pelatihan yang lebih lambat dan biaya yang lebih tinggi.

Apa yang mungkin memerlukan beberapa hari di pusat data terpusat bisa memakan waktu dua minggu dengan pendekatan terdesentralisasi dengan biaya yang lebih tinggi. Itu hanya tidak layak.

Tapi ini akan berubah.

Kabar baiknya adalah bahwa telah terjadi lonjakan minat besar dalam penelitian seputar pelatihan terdistribusi. Para peneliti sedang mengeksplorasi beberapa pendekatan secara bersamaan, seperti yang terbukti dari banyaknya studi dan makalah yang diterbitkan. Kemajuan ini akan saling menumpuk dan mempercepat kemajuan di bidang ini.

Ini juga tentang pengujian di produksi dan melihat sejauh mana kita dapat mendorong batasan.

Beberapa teknik pelatihan terdesentralisasi sudah dapat menangani model-model yang lebih kecil di lingkungan interkoneksi yang lambat. Sekarang, penelitian terdepan sedang mendorong untuk memperluas metode ini ke model-model yang semakin besar.

• Sebagai contoh, Prime Intellect’s buka kertas DiCoLomendemonstrasikan pendekatan praktis yang melibatkan “pulau-pulau” GPU yang melakukan 500 langkah lokal sebelum disinkronisasi, memangkas kebutuhan bandwidth hingga 500x. Apa yang dimulai sebagai penelitian Google DeepMind tentang model-model lebih kecil kini telah diperbesar untuk melatih model 10 miliar parameter pada bulan November—dan sepenuhnya open-source hari ini.
• Nous Penelitianmenaikkan standar dengan kerangka kerja DisTrO mereka, yang menggunakan pengoptimasi untuk memberikan pengurangan hingga 10.000x dalam persyaratan komunikasi antar-GPU saat melatih model dengan 1,2 miliar parameter yang mengagumkan.
• Dan momentum terus meningkat. Pada bulan Desember, Nous mengumumkan pra-pelatihan model dengan 15B parameter dengan kurva kerugian (bagaimana kesalahan model berkurang dari waktu ke waktu) dan laju konvergensi (kecepatan di mana performa model stabil)—yang sebanding atau bahkan melebihi hasil yang biasanya terlihat dengan setup pelatihan terpusat. Ya, lebih baik dari yang terpusat.
• Paralelisme SWARM dan DTFMHE adalah metode lain untuk melatih model AI yang sangat besar di berbagai jenis perangkat, bahkan jika perangkat-perangkat tersebut memiliki kecepatan dan koneksi yang bervariasi.

Tantangan lainnya adalah mengelola berbagai jenis perangkat keras GPU, termasuk GPU berkapasitas memori terbatas yang umumnya digunakan dalam jaringan terdesentralisasi. Teknik seperti paralelisme model (memecah lapisan model di antara perangkat) dapat membantu membuat hal ini layak dilakukan.

Masa Depan Pelatihan Terdesentralisasi

Metode pelatihan terdesentralisasi saat ini masih terbatas pada ukuran model yang jauh di bawah frontier (GPT-4 dilaporkan berada dekat dengan triliun parameter, 100x lebih besar dari model 10B Prime Intellect). Untuk benar-benar berkembang, kita akan memerlukan terobosan dalam arsitektur model, infrastruktur jaringan yang lebih baik, dan pembagian tugas yang lebih cerdas di seluruh perangkat.

Dan kita bisa bermimpi besar. Bayangkan dunia di mana pelatihan terdesentralisasi mengumpulkan lebih banyak kekuatan komputasi GPU daripada pusat data terpusat terbesar yang pernah bisa diumpamakan.

Pluralis Penelitian(tim yang tajam dalam pelatihan terdesentralisasi, salah satu yang patut diperhatikan) berpendapat bahwa ini bukan hanya mungkin - itu tak terhindarkan. Pusat data terpusat terikat oleh kendala fisik seperti ruang danketersediaan tenagaSementara jaringan terdesentralisasi dapat mengakses sumber daya global yang efektif tanpa batas.

Bahkan Jensen Huang dari NVIDIA telah mengakui bahwa pelatihan desentralisasi asyncdapat membuka potensi sebenarnya dari skalabilitas AI. Jaringan pelatihan terdistribusi juga lebih toleran terhadap kesalahan.

Jadi, dalam satu masa depan potensial, model AI terkuat di dunia akan dilatih secara terdesentralisasi.

Ini adalah prospek yang menarik, tetapi saya belum sepenuhnya yakin. Kami membutuhkan bukti yang lebih kuat bahwa pelatihan terdesentralisasi dari model terbesar secara teknis dan ekonomis layak.

Inilah tempat di mana saya melihat janji yang besar: Titik manis pelatihan terdesentralisasi bisa terletak pada model-model kecil, khusus, open-source yang dirancang untuk kasus penggunaan tertentu, bukan bersaing dengan model-model perbatasan ultra-besar yang didorong oleh AGI. Beberapa arsitektur, terutama model non-transformer, sudah membuktikan kecocokan alami untuk pengaturan terdesentralisasi.

Dan ada lagi bagian lain dari teka-teki ini: token. Begitu pelatihan terdesentralisasi menjadi layak secara besar-besaran, token dapat memainkan peran penting dalam memberikan insentif dan penghargaan kepada kontributor, secara efektif memulai jaringan-jaringan ini.

Jalan menuju visi ini panjang, tetapi kemajuan ini sangat menggembirakan. Kemajuan dalam pelatihan terdesentralisasi akan menguntungkan semua orang, bahkan perusahaan teknologi besar dan laboratorium riset AI tingkat atas, karena skala model masa depan akan melebihi kapasitas satu pusat data.

Masa depan didistribusikan. Dan ketika suatu teknologi memiliki potensi yang begitu luas, sejarah menunjukkan bahwa selalu menjadi lebih baik, lebih cepat, dari yang diharapkan siapapun.

1.3. Inferensi Terdesentralisasi

Saat ini, sebagian besar kekuatan komputasi dalam AI diarahkan ke pelatihan model-model massif. Laboratorium AI teratas sedang dalam perlombaan senjata untuk mengembangkan model-model dasar terbaik dan pada akhirnya mencapai AGI.

Tapi ini pendapat saya: fokus komputasi intensif pada pelatihan akan beralih ke inferensi dalam beberapa tahun mendatang. Seiring AI semakin terintegrasi dalam aplikasi yang kita gunakan sehari-hari - dari perawatan kesehatan hingga hiburan - sumber daya komputasi yang diperlukan untuk mendukung inferensi akan sangat besar.

Dan ini bukan hanya spekulasi. Skala komputasi waktu inferensi adalah kata yang sedang tren dalam AI. Baru-baru ini, OpenAI merilis versi pratinjau/mini dari model terbaru mereka, o1 (kode nama: Strawberry), dan pergeseran besar? Ia meluangkan waktu untuk berpikir dengan pertama-tama bertanya kepada dirinya sendiri langkah-langkah apa yang harus diambil untuk menjawab pertanyaan tersebut, kemudian melalui setiap langkah tersebut.

Model ini dirancang untuk tugas yang lebih kompleks dan membutuhkan perencanaan yang intensif—seperti memecahkan teka-teki silang—dan menangani masalah-masalah yang memerlukan pemikiran yang lebih dalam. Anda akan melihat bahwa ini lebih lambat, memerlukan lebih banyak waktu untuk menghasilkan tanggapan, tetapi hasilnya jauh lebih dipikirkan dan halus. Ini juga jauh lebih mahal untuk dijalankan ( 25x biaya dari GPT-4)

Pergeseran fokusnya jelas: lonjakan berikutnya dalam kinerja AI tidak hanya akan datang dari pelatihan model yang lebih besar tetapi juga dari peningkatan penggunaan komputasi selama inferensi.

Jika Anda ingin membaca lebih banyak, beberapa penelitian kertasdemonstrasikan:

• Meningkatkan komputasi inferensi melalui sampel berulang menghasilkan peningkatan besar-besaran di berbagai tugas.
• Ada hukum skala eksponensial untuk inferensi juga.

Setelah model-model yang kuat dilatih, tugas inferensi mereka - di mana model-model melakukan tugas-tugas tertentu - dapat dialihkan ke jaringan komputasi terdesentralisasi. Ini sangat masuk akal karena:

• Inferensi jauh lebih sedikit menggunakan sumber daya dibanding pelatihan. Setelah dilatih, model dapat dikompresi dan dioptimalkan menggunakan teknik seperti kuantisasi, pemangkasan, atau distilasi. Mereka bahkan dapat dipisahkan dengan paralelisme tensor atau pipa untuk berjalan pada perangkat konsumen sehari-hari. Anda tidak memerlukan GPU high-end untuk menggerakkan inferensi.
• Sudah terjadi.Exo Labs telah menemukan cara untuk menjalankan model Llama3 berparameter 450B pada perangkat keras konsumen seperti MacBooks dan Mac Minis. Mendistribusikan inferensi di banyak perangkat dapat menangani beban kerja skala besar secara efisien dan biaya efektif.
• Pengalaman pengguna yang lebih baik. Menjalankan komputasi lebih dekat dengan pengguna mengurangi laten, yang kritis untuk aplikasi real-time seperti gaming, AR, atau mobil self-driving. Setiap milidetik penting.

Pikirkan inferensi terdesentralisasi seperti CDN (jaringan pengiriman konten) untuk kecerdasan buatan: alih-alih mengirimkan situs web dengan cepat dengan menghubungkan ke server terdekat, inferensi terdesentralisasi memanfaatkan daya komputasi lokal untuk memberikan respons kecerdasan buatan dalam waktu rekam. Dengan merangkul inferensi terdesentralisasi, aplikasi kecerdasan buatan menjadi lebih efisien, responsif, dan dapat diandalkan.

Trennya jelas. Chip baru M4 Pro Apple menandingi NVIDIARTX 3070 Ti—sebuah GPU yang, hingga baru-baru ini, merupakan domain para gamer hardcore. Perangkat keras yang kita miliki saat ini semakin mampu menangani beban kerja AI yang canggih.

Nilai Tambah Kripto

Untuk jaringan inferensi terdesentralisasi berhasil, harus ada insentif ekonomi yang menarik untuk berpartisipasi. Node-node dalam jaringan perlu diberi kompensasi atas kontribusi komputasi mereka. Sistem harus memastikan distribusi imbalan yang adil dan efisien. Keragaman geografis sangat penting, mengurangi laten untuk tugas-tugas inferensi, dan meningkatkan toleransi kesalahan.

Dan cara terbaik untuk membangun jaringan terdesentralisasi? Kripto.

Token menyediakan mekanisme yang kuat untuk menyelaraskan kepentingan peserta, memastikan semua orang bekerja menuju tujuan yang sama: memperluas jaringan dan meningkatkan nilai token.

Token juga mempercepat pertumbuhan jaringan. Mereka membantu menyelesaikan masalah klasik ayam dan telur yang menghambat sebagian besar jaringan dengan memberi hadiah kepada pengguna awal dan mendorong partisipasi sejak hari pertama.

Keberhasilan Bitcoin dan Ethereum membuktikan hal ini—mereka sudah mengumpulkan kekuatan komputasi terbesar di planet ini.

Jaringan inferensi terdesentralisasi berikutnya dalam antrian. Dengan keragaman geografis, mereka mengurangi laten, meningkatkan toleransi kesalahan, dan mendekatkan KI kepada pengguna. Dan dengan insentif yang didukung kripto, mereka akan berkembang lebih cepat dan lebih baik daripada jaringan tradisional sebelumnya.

Penafian:

1. Artikel ini dicetak ulang dari[[](https://www.chainofthought.xyz/p/our-crypto-ai-thesis-part-ii-decentralised-compute)[Rantai Pikiran](https://www.chainofthought.xyz/)\]. Semua hak cipta adalah milik penulis asli [Teng Yan]. Jika ada keberatan terhadap cetak ulang ini, silakan hubungi Belajar Gatetim, dan mereka akan menanganinya dengan segera.
2. Penolakan Tanggung Jawab Kewajiban: Pandangan dan opini yang terdapat dalam artikel ini semata-mata milik penulis dan tidak merupakan saran investasi apa pun.
3. Terjemahan artikel ke bahasa lain dilakukan oleh tim gate Learn. Kecuali disebutkan, menyalin, mendistribusikan, atau menjiplak artikel yang diterjemahkan dilarang.