Dari Attention Is All You Need, kunci terobosan AI

Pada GTC 2024, terjadi sesuatu yang menarik: pendiri NVIDIA Jensen Huang berdiskusi kelompok dengan 8 insinyur Google, di mana salah satu dari mereka ternyata adalah pendiri NEAR. Delapan insinyur ini bersama-sama menerbitkan makalah “Attention Is All You Need” tujuh tahun lalu, yang hingga kini telah dikutip lebih dari 110.000 kali. Mereka mungkin tidak menyangka bahwa penelitian yang dipublikasikan pada 12 Juni 2017 ini akan secara mendalam mengubah seluruh industri AI.

Bagaimana Transformer Merevolusi Cara Pembelajaran AI

Bayangkan otak manusia seperti hutan hujan Amazon—dipenuhi berbagai area fungsi yang terhubung melalui jalur yang padat. Neuron seperti utusan jalur ini, mampu mengirim dan menerima sinyal ke bagian mana pun dari otak. Struktur ini memberi otak manusia kemampuan belajar dan mengenali yang sangat kuat.

Arsitektur Transformer adalah jaringan neural yang mencoba meniru mekanisme ini. Dengan memperkenalkan mekanisme perhatian diri (self-attention), ia mengatasi hambatan dari RNN (Recurrent Neural Network) awal—yang hanya bisa memproses data berurutan secara bertahap—sementara Transformer mampu menganalisis semua bagian dari urutan secara bersamaan, sehingga dapat menangkap dependensi jarak jauh dan konteks. Tentu saja, saat ini teknologi ini masih jauh dari satu per sepuluh ribu kemampuan otak manusia.

Dari aplikasi pengenalan suara seperti Siri hingga ChatGPT saat ini, evolusi AI adalah iterasi dari model seri Transformer: XLNet, BERT, GPT, dan varian lainnya bermunculan. Di antaranya GPT paling terkenal, tetapi masih memiliki kekurangan yang jelas dalam kemampuan prediksi kejadian.

Langkah Kunci Berikutnya dari Model Bahasa Besar—Kemampuan Fusi Waktu

Attention Is All You Need berkontribusi utama pada mekanisme perhatian, dan loncatan berikutnya dalam AI akan datang dari Time Fusion Transformer (TFT). Ketika model bahasa besar (LLM) mampu memprediksi kejadian masa depan berdasarkan data dan pola historis, ini menandai langkah besar menuju kecerdasan buatan umum (AGI) yang nyata.

TFT tidak hanya mampu memprediksi nilai masa depan, tetapi juga dapat menjelaskan logika prediksinya. Kemampuan ini memiliki nilai aplikasi unik di bidang blockchain. Dengan mendefinisikan aturan dalam model, TFT dapat secara otomatis mengelola proses konsensus, meningkatkan kecepatan blok, memberi penghargaan kepada validator jujur, dan menghukum pelaku jahat.

Kemungkinan Baru dalam Mekanisme Konsensus Blockchain

Inti dari mekanisme konsensus jaringan publik adalah permainan antara validator—yang membutuhkan lebih dari dua pertiga validator untuk sepakat tentang siapa yang akan membuat blok berikutnya. Proses ini penuh perbedaan pendapat, menyebabkan efisiensi jaringan seperti Ethereum menjadi rendah.

Penggunaan TFT menawarkan ide baru. Blockchain dapat membangun sistem reputasi berdasarkan riwayat voting validator, catatan proposal blok, catatan Slash, jumlah staking, dan tingkat aktivitas. Validator dengan skor reputasi tinggi akan mendapatkan lebih banyak hadiah blok, sehingga meningkatkan efisiensi pembuatan blok.

Proyek BasedAI sedang mencoba jalur ini, berencana menggunakan model TFT untuk mendistribusikan token antara validator dan peserta jaringan. Selain itu, mereka mengintegrasikan teknologi enkripsi homomorfik penuh (FHE), memungkinkan pengembang untuk mengimplementasikan Large Language Models (Zk-LLMs) yang melindungi privasi di infrastruktur AI terdesentralisasi mereka, “Brains”.

Enkripsi Privasi: Langkah Kunci Menuju AGI

Keunggulan teknologi FHE adalah: pengguna dapat mengaktifkan layanan AI yang dipersonalisasi dengan data tetap dalam keadaan terenkripsi sepenuhnya. Teknologi perlindungan privasi seperti Zero-Knowledge Machine Learning (ZkML), Perhitungan Buta (Blind Computation), dan enkripsi homomorfik sedang mengisi kekosongan ini.

Ketika orang yakin data mereka terlindungi enkripsi dan mereka bersedia berkontribusi data di bawah perlindungan privasi yang memadai, kita mungkin tidak jauh dari terobosan AGI. Hal ini karena pencapaian AGI membutuhkan data multidimensi dalam jumlah besar, sementara kekhawatiran pengguna terhadap keamanan data membatasi aliran data tersebut.

Namun, tantangan nyata tetap ada—semua teknologi perlindungan privasi ini membutuhkan sumber daya komputasi yang besar, sehingga masih dalam tahap awal penerapan, dan butuh waktu untuk mencapai skala penuh. Tetapi tren sudah jelas: pintu yang dibuka oleh Attention Is All You Need akan didorong ke era berikutnya oleh integrasi privasi, komputasi, dan konsensus.