Từ "Attention Is All You Need" - Chìa khóa đột phá của AI

Trong Hội nghị GTC năm 2024 đã xảy ra một sự kiện thú vị: nhà sáng lập Nvidia Jensen Huang đã thảo luận nhóm với 8 kỹ sư của Google, trong đó có một người chính là nhà sáng lập NEAR. 8 kỹ sư này đã cùng nhau công bố bài báo “Attention Is All You Need” cách đây 7 năm, đến nay đã được trích dẫn hơn 110.000 lần. Có thể họ không ngờ rằng, nghiên cứu được công bố ngày 12 tháng 6 năm 2017 này sẽ định hình lại toàn bộ ngành công nghiệp AI một cách sâu sắc như vậy.

Transformer đã cách mạng hóa cách AI học tập như thế nào

Hãy tưởng tượng bộ não của con người giống như rừng mưa Amazon — đầy các vùng chức năng khác nhau, liên kết với nhau qua các tuyến đường mật độ cao. Các neuron giống như các sứ giả của các tuyến đường này, có thể gửi và nhận tín hiệu tới mọi phần của não. Cấu trúc này giúp não người có khả năng học tập và nhận diện mạnh mẽ.

Kiến trúc Transformer chính là cố gắng sao chép cơ chế này của mạng nơ-ron. Bằng cách giới thiệu cơ chế chú ý tự động (self-attention), nó đã vượt qua giới hạn của các mạng RNN (mạng nơ-ron hồi quy) trước đó — RNN chỉ xử lý dữ liệu theo trình tự từng bước, còn Transformer có thể phân tích đồng thời tất cả các phần của chuỗi, từ đó nắm bắt các mối quan hệ phụ thuộc xa và ngữ cảnh. Tất nhiên, công nghệ hiện tại vẫn chưa đạt tới mức một phần nghìn của bộ não con người.

Từ các ứng dụng nhận dạng giọng nói như Siri đến ChatGPT ngày nay, quá trình tiến hóa của AI chính là chuỗi các mô hình Transformer liên tiếp: XLNet, BERT, GPT và các phiên bản phát sinh khác liên tục xuất hiện. Trong đó GPT nổi bật nhất, nhưng khả năng dự đoán sự kiện vẫn còn rõ ràng hạn chế.

Chìa khóa tiếp theo của các mô hình ngôn ngữ lớn — khả năng hòa nhập thời gian

Attention Is All You Need đóng góp cốt lõi là cơ chế chú ý, còn bước nhảy vọt tiếp theo của AI sẽ đến từ bộ chuyển đổi hòa nhập thời gian (TFT). Khi các mô hình ngôn ngữ lớn (LLM) có thể dự đoán các sự kiện trong tương lai dựa trên dữ liệu và mô hình lịch sử, đó sẽ là bước tiến lớn đưa trí tuệ nhân tạo tổng quát (AGI) tiến gần hơn tới thực tế.

TFT không chỉ dự đoán giá trị tương lai mà còn có thể giải thích logic dự đoán của nó. Khả năng này có giá trị ứng dụng đặc biệt trong lĩnh vực blockchain. Bằng cách định nghĩa các quy tắc trong mô hình, TFT có thể tự động quản lý quá trình đồng thuận, tăng tốc độ tạo khối, thưởng cho các xác thực trung thực và trừng phạt các hành vi độc hại.

Những khả năng mới trong cơ chế đồng thuận của blockchain

Cơ chế đồng thuận của mạng công cộng về bản chất là cuộc chơi giữa các xác thực — cần hơn hai phần ba số xác thực đồng ý về ai sẽ tạo ra khối tiếp theo. Quá trình này thường gây tranh cãi, dẫn đến hiệu quả thấp của các mạng như Ethereum.

Việc đưa TFT vào cung cấp một hướng đi mới. Chuỗi khối có thể dựa trên lịch sử bỏ phiếu của xác thực, hồ sơ đề xuất khối, ghi chú Slash, số tiền staking và mức độ hoạt động để xây dựng hệ thống điểm uy tín. Các xác thực có điểm uy tín cao hơn sẽ nhận được nhiều phần thưởng khối hơn, từ đó nâng cao hiệu quả tạo khối.

Dự án BasedAI đang thử nghiệm theo hướng này, dự kiến sử dụng mô hình TFT để phân phối token giữa các xác thực và người tham gia mạng lưới. Đồng thời, dự án còn tích hợp công nghệ mã hóa đồng nhất (FHE), cho phép các nhà phát triển triển khai các mô hình ngôn ngữ lớn (Zk-LLMs) bảo vệ quyền riêng tư trên hạ tầng AI phi tập trung của họ là “Brains”.

Mã hóa quyền riêng tư: bước quan trọng hướng tới AGI

Điểm đặc biệt của công nghệ FHE là: người dùng có thể giữ dữ liệu hoàn toàn mã hóa khi kích hoạt dịch vụ AI cá nhân hóa. Các công nghệ bảo vệ quyền riêng tư như máy học không biết (ZkML), Tính toán mù (Blind Computation) và mã hóa đồng nhất đang lấp đầy khoảng trống này.

Khi mọi người tin rằng dữ liệu của họ được bảo vệ bằng mã hóa và sẵn sàng đóng góp dữ liệu trong môi trường bảo mật tối đa, chúng ta có thể sắp chạm tới đột phá của AGI. Điều này bởi vì để đạt được AGI, cần một lượng lớn dữ liệu đa chiều, nhưng hiện tại các lo ngại về an toàn dữ liệu đang hạn chế dòng chảy dữ liệu.

Tuy nhiên, thách thức thực tế vẫn còn — tất cả các công nghệ bảo vệ quyền riêng tư này đều đòi hỏi lượng lớn tài nguyên tính toán, khiến chúng vẫn đang trong giai đoạn ứng dụng sơ khai, còn lâu mới đạt quy mô thực sự. Nhưng xu hướng đã rõ ràng: Cánh cửa mở ra bởi Attention Is All You Need sẽ được đẩy tới kỷ nguyên tiếp theo bởi sự hòa quyện của quyền riêng tư, tính toán và đồng thuận.