Hiện tại, phát triển trí tuệ nhân tạo cơ bản được điều hành bởi một số công ty công nghệ, cho thấy tính kín đáo và thiếu cạnh tranh.
Phát triển phần mềm mã nguồn mở mặc dù là một giải pháp tiềm năng, nhưng trí tuệ nhân tạo cơ bản không thể hoạt động như các dự án mã nguồn mở truyền thống (ví dụ: Linux) vì nó đối mặt với một “vấn đề tài nguyên”: người đóng góp mã nguồn mở không chỉ cần thời gian mà còn phải chịu chi phí tính toán và dữ liệu vượt quá khả năng cá nhân.
Công nghệ mật mã thông qua việc khuyến khích nhà cung cấp tài nguyên tham gia dự án trí tuệ nhân tạo mã nguồn mở cơ bản, có thể giải quyết vấn đề này về tài nguyên.
Kết hợp trí tuệ nhân tạo nguồn mở với công nghệ mật mã có thể hỗ trợ phát triển mô hình quy mô lớn hơn và thúc đẩy sự đổi mới hơn, từ đó tạo ra hệ thống trí tuệ nhân tạo tiên tiến hơn.
Giới thiệu
Theo một cuộc khảo sát được tiến hành vào năm 2024 bởi Trung tâm nghiên cứu Pew, 64% người Mỹ cho rằng tác động của mạng xã hội đối với quốc gia có hại hơn là có ích; 78% người cho biết các công ty mạng xã hội có quyền lực và ảnh hưởng quá lớn trong chính trị; 83% người tin rằng các nền tảng này có khả năng kiểm duyệt chính trị không đồng ý của họ một cách cố ý. Sự bất mãn đối với mạng xã hội gần như trở thành một trong những sự đồng thuận hiếm hoi của xã hội Mỹ.
Nhìn lại sự phát triển của mạng xã hội trong 20 năm qua, tình trạng này dường như đã được định trước. Câu chuyện không phức tạp: một số ít các công ty công nghệ lớn đã thu hút sự chú ý của người dùng và quan trọng hơn là dữ liệu người dùng. Mặc dù hy vọng ban đầu cho dữ liệu mở, các công ty đã nhanh chóng thay đổi chiến lược của họ, sử dụng dữ liệu để xây dựng các hiệu ứng mạng không thể phá vỡ và tắt truy cập bên ngoài. Kết quả là tình hình ngày nay: ít hơn 10 công ty công nghệ lớn thống trị ngành truyền thông xã hội, tạo ra một cảnh quan "độc quyền". Vì hiện trạng cực kỳ thuận lợi cho họ, các công ty này có rất ít động lực để thay đổi. Mô hình này khép kín và thiếu cạnh tranh.
Hiện nay, có vẻ như quá trình phát triển công nghệ AI đang lặp lại bước đi này, nhưng tác động lần này sẽ sâu rộng hơn nhiều. Một số công ty công nghệ thông qua việc kiểm soát GPU và tài nguyên dữ liệu đã xây dựng các mô hình AI cơ bản và đóng cửa quyền truy cập vào những mô hình này từ bên ngoài. Đối với những người mới tham gia mà không có hàng chục tỷ USD vốn, việc phát triển một mô hình cạnh tranh gần như là không thể. Bởi vì chi phí tính toán chỉ để huấn luyện một mô hình cơ bản cũng cần hàng chục tỷ USD, và những công ty truyền thông xã hội đã hưởng lợi từ làn sóng công nghệ trước đó đang sử dụng quyền kiểm soát dữ liệu người dùng độc quyền của họ để phát triển ra các mô hình mà đối thủ khó mà đạt tới. Chúng ta đang lặp lại sai lầm của truyền thông xã hội, tiến tới một thế giới AI kín đáo và thiếu cạnh tranh. Nếu xu hướng này tiếp tục, một số công ty công nghệ sẽ có quyền kiểm soát không hạn chế về thông tin và cơ hội.
AI mã nguồn mở và vấn đề "tài nguyên"
Nếu chúng ta không muốn thấy một thế giới trí tuệ nhân tạo bị đóng cửa, thì lựa chọn của chúng ta là gì? Câu trả lời rõ ràng là phát triển mô hình cơ bản như một dự án phần mềm mã nguồn mở. Trong lịch sử, đã có vô số dự án mã nguồn mở thành công xây dựng phần mềm cơ bản mà chúng ta phụ thuộc hàng ngày. Ví dụ, thành công của Linux đã chứng minh rằng ngay cả phần mềm nhân hệ điều hành như vậy cũng có thể được phát triển theo cách mã nguồn mở. Vậy tại sao LLMs (mô hình ngôn ngữ lớn) không thể?
Tuy nhiên, các mô hình AI nền tảng phải đối mặt với những hạn chế đặc biệt khiến chúng khác với phần mềm truyền thống, điều này làm suy yếu đáng kể khả năng tồn tại của chúng như các dự án nguồn mở truyền thống. Cụ thể, các mô hình AI nền tảng đòi hỏi tài nguyên dữ liệu và tính toán khổng lồ vượt xa khả năng của một cá nhân. Không giống như các dự án nguồn mở truyền thống, chỉ dựa vào việc mọi người quyên góp thời gian của họ, AI nguồn mở cũng yêu cầu mọi người quyên góp sức mạnh tính toán và tài nguyên dữ liệu, được gọi là "vấn đề tài nguyên".
Ví dụ với mô hình LLaMa của Meta, chúng ta có thể hiểu vấn đề tài nguyên này tốt hơn. Khác với các đối thủ cạnh tranh như OpenAI và Google, Meta không giấu mô hình sau API trả phí, mà công khai cung cấp trọng số của LLaMa để mọi người sử dụng miễn phí (với một số hạn chế). Những trọng số này chứa đựng kiến thức mà mô hình đã học được trong quá trình đào tạo của Meta và là điều kiện cần thiết để chạy mô hình. Với những trọng số này, người dùng có thể điều chỉnh mô hình hoặc sử dụng đầu ra của mô hình làm đầu vào cho mô hình mới.
Mặc dù việc phát hành LLaMa của Meta đáng được công nhận, nhưng nó không được tính là một dự án phần mềm nguồn mở thực sự. Đằng sau hậu trường, Meta kiểm soát quá trình đào tạo, dựa vào tài nguyên máy tính, dữ liệu và quyết định của riêng mình và đơn phương quyết định thời điểm cung cấp mô hình cho công chúng. Meta không mời các nhà nghiên cứu hoặc nhà phát triển độc lập tham gia vào các hoạt động cộng tác cộng đồng, vì các nguồn lực cần thiết để đào tạo hoặc đào tạo lại các mô hình vượt xa khả năng của một cá nhân bình thường. Các tài nguyên này bao gồm hàng chục nghìn GPU hiệu suất cao, trung tâm dữ liệu để lưu trữ các GPU đó, các cơ sở làm mát tinh vi và hàng nghìn tỷ mã thông báo (đơn vị dữ liệu văn bản cần thiết để đào tạo mô hình) để đào tạo. Như đã lưu ý trong báo cáo Chỉ số AI năm 2024 của Stanford, "Chi phí đào tạo tăng mạnh loại trừ các trường đại học, vốn có truyền thống là cường quốc nghiên cứu AI, khỏi sự phát triển mô hình nền tảng hàng đầu". Ví dụ, Sam Altman đã đề cập rằng chi phí lên tới 100 triệu đô la để đào tạo GPT-4 và điều đó thậm chí không bao gồm chi phí vốn cho phần cứng. Ngoài ra, chi phí vốn của Meta đã tăng 2,1 tỷ USD trong quý 2/2024 so với cùng kỳ năm 2023, chủ yếu dành cho máy chủ, trung tâm dữ liệu và cơ sở hạ tầng mạng liên quan đến đào tạo mô hình AI. Kết quả là, trong khi những người đóng góp cộng đồng của LLaMa có thể có khả năng kỹ thuật để cải thiện kiến trúc mô hình, họ thiếu nguồn lực để thực hiện những cải tiến đó.
Nói chung, khác với các dự án phần mềm mã nguồn mở truyền thống, các dự án AI mã nguồn mở không chỉ yêu cầu các nhà đóng góp dành thời gian mà còn phải chịu chi phí tính toán và dữ liệu đắt đỏ. Chỉ dựa trên lòng tốt và tinh thần tình nguyện để khuyến khích đủ nguồn lực cung cấp là không thực tế. Họ cần các cơ chế khuyến khích tiếp theo. Ví dụ về mô hình ngôn ngữ mã nguồn mở BLOOM, một bộ mô hình có 176 tỷ tham số này đã tổng hợp nỗ lực của 1000 nhà nghiên cứu tình nguyện từ hơn 70 quốc gia và 250 tổ chức. Mặc dù thành công của BLOOM đáng ngưỡng mộ (tôi hoàn toàn ủng hộ điều này), nhưng nó tốn mất 1 năm để phối hợp một lần huấn luyện và phụ thuộc vào hỗ trợ vốn 3 triệu euro từ tổ chức nghiên cứu Pháp (đó chưa tính chi phí vốn để huấn luyện mô hình trên máy tính siêu việt). Phụ thuộc vào vòng tài trợ mới để phối hợp và cập nhật BLOOM quá phức tạp, không thể so sánh được với tốc độ phát triển của các phòng thí nghiệm công nghệ lớn. Kể từ khi BLOOM được phát hành đã hơn 2 năm, hiện tại vẫn chưa có thông tin về bất kỳ mô hình tiếp theo nào được nhóm phát triển phát triển.
Để làm cho trí tuệ nhân tạo mã nguồn mở trở thành hiện thực, chúng ta cần tìm ra một cách thúc đẩy nhà cung cấp tài nguyên đóng góp năng lực tính toán và tài nguyên dữ liệu của họ, thay vì để các nhà đóng góp mã nguồn mở tự chịu trách nhiệm cho chi phí này.
Tại sao mật mã học có thể giải quyết "vấn đề tài nguyên" của AI nguồn mở cơ bản
Bước đột phá cốt lõi của mật mã học là làm cho các dự án phần mềm nguồn mở với chi phí tài nguyên cao có thể thông qua cơ chế "sở hữu". Nó giải quyết vấn đề tài nguyên của AI nguồn mở bằng cách khuyến khích các nhà cung cấp tài nguyên tiềm năng tham gia vào mạng, thay vì để những người đóng góp nguồn mở chịu chi phí trả trước cho các tài nguyên này.
Bitcoin là một ví dụ tuyệt vời. Là dự án mã hóa đầu tiên, Bitcoin là một dự án phần mềm hoàn toàn mã nguồn mở, với mã nguồn của nó được công khai từ đầu. Tuy nhiên, chính mã nguồn không phải là yếu tố quan trọng của Bitcoin. Chỉ việc tải xuống và chạy phần mềm nút Bitcoin, tạo ra một chuỗi khối cục bộ không có ý nghĩa thực tế. Chỉ khi lượng tính toán để khai thác khối vượt ra ngoài khả năng tính toán của bất kỳ người đóng góp đơn lẻ nào, giá trị thực sự của phần mềm mới có thể thể hiện: duy trì một sổ cái phi tập trung, không ai kiểm soát được. Tương tự như AI mã nguồn mở cơ bản, Bitcoin cũng là một dự án mã nguồn mở cần sử dụng tài nguyên vượt ra ngoài khả năng cá nhân. Mặc dù nguyên nhân của nhu cầu tài nguyên tính toán của hai dự án này không giống nhau - Bitcoin cần tài nguyên tính toán để đảm bảo mạng không thể bị thay đổi, trong khi AI cơ bản cần tài nguyên tính toán để tối ưu hóa và lặp lại mô hình - nhưng điểm chung của chúng là cần phụ thuộc vào tài nguyên vượt ra ngoài khả năng cá nhân.
"Bí mật" đối với Bitcoin, cũng như bất kỳ mạng lưới tiền điện tử nào khác, để có thể khuyến khích người tham gia đóng góp tài nguyên cho các dự án phần mềm nguồn mở là cung cấp quyền sở hữu mạng thông qua các mã thông báo. Như đã nêu trong triết lý sáng lập của Jesse được viết cho Variant vào năm 2020, quyền sở hữu cung cấp động lực mạnh mẽ cho các nhà cung cấp tài nguyên sẵn sàng đóng góp tài nguyên để đổi lấy lợi ích tiềm năng trong mạng. Cơ chế này tương tự như cách các công ty khởi nghiệp giải quyết tình trạng thiếu vốn giai đoạn đầu thông qua "vốn chủ sở hữu mồ hôi" - bằng cách trả lương cho nhân viên giai đoạn đầu (ví dụ: người sáng lập) chủ yếu dưới hình thức sở hữu công ty, các công ty khởi nghiệp có thể thu hút lao động mà nếu không họ không đủ khả năng chi trả. Mật mã học mở rộng khái niệm "công bằng mồ hôi" từ việc tập trung vào những người đóng góp thời gian cho các nhà cung cấp tài nguyên. Do đó, Variant tập trung đầu tư vào các dự án tận dụng cơ chế sở hữu để xây dựng hiệu ứng mạng, chẳng hạn như Uniswap, Morpho và World.
Nếu chúng ta muốn AI mã nguồn mở trở thành hiện thực, thì cơ chế sở hữu được thực hiện thông qua công nghệ mật mã sẽ là giải pháp chính cho vấn đề tài nguyên. Cơ chế này cho phép các nhà nghiên cứu tự do đóng góp các ý tưởng thiết kế mô hình của họ cho dự án mã nguồn mở, vì tài nguyên tính toán và dữ liệu cần thiết cho việc triển khai những ý tưởng này sẽ do người cung cấp tài nguyên chịu trách nhiệm, và người cung cấp tài nguyên sẽ nhận lại một phần sở hữu của dự án như một phần thưởng, thay vì yêu cầu nhà nghiên cứu phải tự mình chịu chi phí lớn ban đầu. Trong lĩnh vực AI mã nguồn mở, sở hữu có thể có nhiều hình thức, nhưng một trong những hình thức được mong đợi nhất chính là sở hữu về mô hình chính mình, đó cũng chính là giải pháp được Pluralis đề xuất.
Cách tiếp cận được đề xuất bởi Pluralis được gọi là Mô hình giao thức. Trong mô hình này, nhà cung cấp tài nguyên điện toán có thể đóng góp sức mạnh tính toán để đào tạo một mô hình nguồn mở cụ thể và do đó nhận được quyền sở hữu một phần doanh thu suy luận trong tương lai của mô hình đó. Vì quyền sở hữu này gắn liền với một mô hình cụ thể và giá trị của nó dựa trên doanh thu suy luận của mô hình, các nhà cung cấp tài nguyên điện toán được khuyến khích chọn mô hình tối ưu để đào tạo mà không làm sai lệch dữ liệu đào tạo (vì việc cung cấp đào tạo vô ích trực tiếp làm giảm giá trị dự kiến của doanh thu suy luận trong tương lai). Tuy nhiên, một câu hỏi quan trọng là: làm thế nào để Pluralis đảm bảo an toàn cho quyền sở hữu nếu quá trình đào tạo yêu cầu trọng số của mô hình được gửi đến nhà cung cấp máy tính? Câu trả lời nằm ở việc sử dụng Model Parallelism để phân phối các phân đoạn mô hình cho các worker khác nhau. Một tính năng quan trọng của mạng nơ-ron là ngay cả khi chỉ một phần nhỏ trọng lượng của mô hình được biết đến, máy tính vẫn có thể tham gia đào tạo, đảm bảo rằng toàn bộ trọng lượng không thể được trích xuất. Ngoài ra, do nhiều mẫu xe khác nhau được đào tạo cùng lúc trên nền tảng Pluralis, huấn luyện viên sẽ phải đối mặt với một số lượng lớn các bộ tạ khác nhau, điều này khiến việc xây dựng lại mô hình đầy đủ trở nên vô cùng khó khăn.
Ý tưởng cốt lõi của Protocol Models là: Những mô hình này có thể được huấn luyện, được sử dụng, nhưng không thể trích xuất hoàn toàn từ giao thức (trừ khi sử dụng khả năng tính toán vượt quá tài nguyên cần thiết để huấn luyện mô hình từ đầu). Cơ chế này giải quyết vấn đề thường được nhắc đến bởi những người phê phán AI mã nguồn mở, rằng các đối thủ AI đóng lại có thể đánh cắp thành quả lao động của dự án mã nguồn mở.
Tại sao công nghệ mã hóa + mã nguồn mở = AI tốt hơn
Ở đầu bài viết, tôi đã phân tích việc kiểm soát của các công ty công nghệ lớn đối với trí tuệ nhân tạo, đồng thời chỉ ra vấn đề đạo đức và quy chuẩn của trí tuệ nhân tạo đóng cửa. Nhưng trong thời đại mạng mạnh mẽ nhưng cảm thấy vô lực, tôi lo lắng rằng những quan điểm như vậy có thể khó gây đồng tình với đa số độc giả. Do đó, tôi muốn từ hiệu quả thực tế, đưa ra hai lý do để giải thích tại sao trí tuệ nhân tạo nguồn mở được hỗ trợ bởi công nghệ mã hóa có thể thực sự mang lại trí tuệ nhân tạo tốt hơn.
Đầu tiên, việc kết hợp công nghệ mã hóa với AI mã nguồn mở có thể điều hòa nhiều tài nguyên hơn, từ đó đẩy mạnh sự phát triển của các mô hình cơ bản thế hệ tiếp theo (Foundation Models). Nghiên cứu cho thấy, việc tăng cường khả năng tính toán và tài nguyên dữ liệu đều giúp cải thiện hiệu suất mô hình, đây cũng là lý do tại sao quy mô của các mô hình cơ bản luôn tiếp tục mở rộng. Bitcoin đã cho chúng ta thấy tiềm năng của phần mềm mã nguồn mở kết hợp với công nghệ mã hóa trong khả năng tính toán. Nó đã trở thành mạng tính toán lớn nhất và mạnh nhất trên toàn cầu, quy mô của nó vượt xa tài nguyên tính toán đám mây của các công ty công nghệ lớn. Điểm đặc biệt của công nghệ mã hóa là nó có thể chuyển đổi sự cạnh tranh cô lập thành sự cạnh tranh hợp tác. Thông qua việc khuyến khích nhà cung cấp tài nguyên đóng góp tài nguyên để giải quyết các vấn đề chung, thay vì chiến đấu một mình và làm việc lặp lại, mạng mã hóa đã đạt được sự tận dụng tài nguyên hiệu quả. Sử dụng AI mã nguồn mở kết hợp với công nghệ mã hóa sẽ giúp sử dụng tài nguyên tính toán và dữ liệu trên toàn cầu để xây dựng mô hình quy mô lớn hơn nhiều so với AI đóng lại. Ví dụ, công ty Hyperbolic đã cho thấy tiềm năng của mô hình này. Họ sử dụng một thị trường mở, cho phép bất kỳ ai cũng có thể thuê GPU với chi phí thấp, từ đó tận dụng tối đa các tài nguyên tính toán phân tán.
Thứ hai, sự kết hợp giữa công nghệ mã hóa và trí tuệ nhân tạo nguồn mở sẽ thúc đẩy quá trình đổi mới. Điều này là vì một khi vấn đề tài nguyên được giải quyết, nghiên cứu học máy có thể trở lại bản chất nguồn mở của nó với sự lặp lại và sáng tạo cao. Trước khi mô hình ngôn ngữ cơ bản (LLM) ra đời, các nhà nghiên cứu trong lĩnh vực học máy thường công khai công bố mô hình của họ và các kế hoạch thiết kế có thể tái tạo được. Những mô hình này thường sử dụng các bộ dữ liệu mã nguồn mở và yêu cầu tính toán tương đối thấp, cho phép các nhà nghiên cứu liên tục tối ưu hóa và sáng tạo trên cơ sở này. Chính quá trình lặp lại mở này đã tạo ra nhiều bước đột phá trong lĩnh vực mô hình chuỗi, chẳng hạn như mạng nơ-ron lặp đi lặp lại (RNN), mạng thần kinh dài ngắn hạn (LSTM) và cơ chế chú ý (Attention Mechanisms), cuối cùng làm cho kiến trúc mô hình Transformer trở thành khả thi. Tuy nhiên, cách tiếp cận nghiên cứu mở này đã thay đổi sau khi GPT-3 ra mắt. OpenAI đã chứng minh thành công qua GPT-3 và ChatGPT rằng chỉ cần đầu tư đủ tài nguyên tính toán và dữ liệu, có thể huấn luyện được một mô hình ngôn ngữ lớn có khả năng hiểu ngôn ngữ. Xu hướng này đã dẫn đến sự tăng cao vượt ngưỡng tài nguyên, khiến cho giới học thuật dần bị loại trừ, đồng thời các công ty công nghệ lớn không còn công khai kiến trúc mô hình của họ để duy trì lợi thế cạnh tranh. Tình hình này hạn chế khả năng của chúng ta trong việc thúc đẩy công nghệ AI tiên tiến nhất.
Sự kết hợp này không chỉ giải quyết vấn đề tài nguyên mà còn có thể tái kích hoạt sự sôi động sáng tạo trong lĩnh vực học máy, mở ra con đường rộng lớn hơn cho sự phát triển tương lai của trí tuệ nhân tạo.
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Variant 投资合伙人：Mã nguồn mở AI 的困境与突破，为什么mã hóa技术是最后一块拼图？
Tác giả: Daniel Barabander
Biên dịch: TechFlow sâu
Tóm tắt ngắn gọn
Hiện tại, phát triển trí tuệ nhân tạo cơ bản được điều hành bởi một số công ty công nghệ, cho thấy tính kín đáo và thiếu cạnh tranh.
Phát triển phần mềm mã nguồn mở mặc dù là một giải pháp tiềm năng, nhưng trí tuệ nhân tạo cơ bản không thể hoạt động như các dự án mã nguồn mở truyền thống (ví dụ: Linux) vì nó đối mặt với một “vấn đề tài nguyên”: người đóng góp mã nguồn mở không chỉ cần thời gian mà còn phải chịu chi phí tính toán và dữ liệu vượt quá khả năng cá nhân.
Công nghệ mật mã thông qua việc khuyến khích nhà cung cấp tài nguyên tham gia dự án trí tuệ nhân tạo mã nguồn mở cơ bản, có thể giải quyết vấn đề này về tài nguyên.
Kết hợp trí tuệ nhân tạo nguồn mở với công nghệ mật mã có thể hỗ trợ phát triển mô hình quy mô lớn hơn và thúc đẩy sự đổi mới hơn, từ đó tạo ra hệ thống trí tuệ nhân tạo tiên tiến hơn.
Giới thiệu
Theo một cuộc khảo sát được tiến hành vào năm 2024 bởi Trung tâm nghiên cứu Pew, 64% người Mỹ cho rằng tác động của mạng xã hội đối với quốc gia có hại hơn là có ích; 78% người cho biết các công ty mạng xã hội có quyền lực và ảnh hưởng quá lớn trong chính trị; 83% người tin rằng các nền tảng này có khả năng kiểm duyệt chính trị không đồng ý của họ một cách cố ý. Sự bất mãn đối với mạng xã hội gần như trở thành một trong những sự đồng thuận hiếm hoi của xã hội Mỹ.
Nhìn lại sự phát triển của mạng xã hội trong 20 năm qua, tình trạng này dường như đã được định trước. Câu chuyện không phức tạp: một số ít các công ty công nghệ lớn đã thu hút sự chú ý của người dùng và quan trọng hơn là dữ liệu người dùng. Mặc dù hy vọng ban đầu cho dữ liệu mở, các công ty đã nhanh chóng thay đổi chiến lược của họ, sử dụng dữ liệu để xây dựng các hiệu ứng mạng không thể phá vỡ và tắt truy cập bên ngoài. Kết quả là tình hình ngày nay: ít hơn 10 công ty công nghệ lớn thống trị ngành truyền thông xã hội, tạo ra một cảnh quan "độc quyền". Vì hiện trạng cực kỳ thuận lợi cho họ, các công ty này có rất ít động lực để thay đổi. Mô hình này khép kín và thiếu cạnh tranh.
Hiện nay, có vẻ như quá trình phát triển công nghệ AI đang lặp lại bước đi này, nhưng tác động lần này sẽ sâu rộng hơn nhiều. Một số công ty công nghệ thông qua việc kiểm soát GPU và tài nguyên dữ liệu đã xây dựng các mô hình AI cơ bản và đóng cửa quyền truy cập vào những mô hình này từ bên ngoài. Đối với những người mới tham gia mà không có hàng chục tỷ USD vốn, việc phát triển một mô hình cạnh tranh gần như là không thể. Bởi vì chi phí tính toán chỉ để huấn luyện một mô hình cơ bản cũng cần hàng chục tỷ USD, và những công ty truyền thông xã hội đã hưởng lợi từ làn sóng công nghệ trước đó đang sử dụng quyền kiểm soát dữ liệu người dùng độc quyền của họ để phát triển ra các mô hình mà đối thủ khó mà đạt tới. Chúng ta đang lặp lại sai lầm của truyền thông xã hội, tiến tới một thế giới AI kín đáo và thiếu cạnh tranh. Nếu xu hướng này tiếp tục, một số công ty công nghệ sẽ có quyền kiểm soát không hạn chế về thông tin và cơ hội.
AI mã nguồn mở và vấn đề "tài nguyên"
Nếu chúng ta không muốn thấy một thế giới trí tuệ nhân tạo bị đóng cửa, thì lựa chọn của chúng ta là gì? Câu trả lời rõ ràng là phát triển mô hình cơ bản như một dự án phần mềm mã nguồn mở. Trong lịch sử, đã có vô số dự án mã nguồn mở thành công xây dựng phần mềm cơ bản mà chúng ta phụ thuộc hàng ngày. Ví dụ, thành công của Linux đã chứng minh rằng ngay cả phần mềm nhân hệ điều hành như vậy cũng có thể được phát triển theo cách mã nguồn mở. Vậy tại sao LLMs (mô hình ngôn ngữ lớn) không thể?
Tuy nhiên, các mô hình AI nền tảng phải đối mặt với những hạn chế đặc biệt khiến chúng khác với phần mềm truyền thống, điều này làm suy yếu đáng kể khả năng tồn tại của chúng như các dự án nguồn mở truyền thống. Cụ thể, các mô hình AI nền tảng đòi hỏi tài nguyên dữ liệu và tính toán khổng lồ vượt xa khả năng của một cá nhân. Không giống như các dự án nguồn mở truyền thống, chỉ dựa vào việc mọi người quyên góp thời gian của họ, AI nguồn mở cũng yêu cầu mọi người quyên góp sức mạnh tính toán và tài nguyên dữ liệu, được gọi là "vấn đề tài nguyên".
Ví dụ với mô hình LLaMa của Meta, chúng ta có thể hiểu vấn đề tài nguyên này tốt hơn. Khác với các đối thủ cạnh tranh như OpenAI và Google, Meta không giấu mô hình sau API trả phí, mà công khai cung cấp trọng số của LLaMa để mọi người sử dụng miễn phí (với một số hạn chế). Những trọng số này chứa đựng kiến thức mà mô hình đã học được trong quá trình đào tạo của Meta và là điều kiện cần thiết để chạy mô hình. Với những trọng số này, người dùng có thể điều chỉnh mô hình hoặc sử dụng đầu ra của mô hình làm đầu vào cho mô hình mới.
Mặc dù việc phát hành LLaMa của Meta đáng được công nhận, nhưng nó không được tính là một dự án phần mềm nguồn mở thực sự. Đằng sau hậu trường, Meta kiểm soát quá trình đào tạo, dựa vào tài nguyên máy tính, dữ liệu và quyết định của riêng mình và đơn phương quyết định thời điểm cung cấp mô hình cho công chúng. Meta không mời các nhà nghiên cứu hoặc nhà phát triển độc lập tham gia vào các hoạt động cộng tác cộng đồng, vì các nguồn lực cần thiết để đào tạo hoặc đào tạo lại các mô hình vượt xa khả năng của một cá nhân bình thường. Các tài nguyên này bao gồm hàng chục nghìn GPU hiệu suất cao, trung tâm dữ liệu để lưu trữ các GPU đó, các cơ sở làm mát tinh vi và hàng nghìn tỷ mã thông báo (đơn vị dữ liệu văn bản cần thiết để đào tạo mô hình) để đào tạo. Như đã lưu ý trong báo cáo Chỉ số AI năm 2024 của Stanford, "Chi phí đào tạo tăng mạnh loại trừ các trường đại học, vốn có truyền thống là cường quốc nghiên cứu AI, khỏi sự phát triển mô hình nền tảng hàng đầu". Ví dụ, Sam Altman đã đề cập rằng chi phí lên tới 100 triệu đô la để đào tạo GPT-4 và điều đó thậm chí không bao gồm chi phí vốn cho phần cứng. Ngoài ra, chi phí vốn của Meta đã tăng 2,1 tỷ USD trong quý 2/2024 so với cùng kỳ năm 2023, chủ yếu dành cho máy chủ, trung tâm dữ liệu và cơ sở hạ tầng mạng liên quan đến đào tạo mô hình AI. Kết quả là, trong khi những người đóng góp cộng đồng của LLaMa có thể có khả năng kỹ thuật để cải thiện kiến trúc mô hình, họ thiếu nguồn lực để thực hiện những cải tiến đó.
Nói chung, khác với các dự án phần mềm mã nguồn mở truyền thống, các dự án AI mã nguồn mở không chỉ yêu cầu các nhà đóng góp dành thời gian mà còn phải chịu chi phí tính toán và dữ liệu đắt đỏ. Chỉ dựa trên lòng tốt và tinh thần tình nguyện để khuyến khích đủ nguồn lực cung cấp là không thực tế. Họ cần các cơ chế khuyến khích tiếp theo. Ví dụ về mô hình ngôn ngữ mã nguồn mở BLOOM, một bộ mô hình có 176 tỷ tham số này đã tổng hợp nỗ lực của 1000 nhà nghiên cứu tình nguyện từ hơn 70 quốc gia và 250 tổ chức. Mặc dù thành công của BLOOM đáng ngưỡng mộ (tôi hoàn toàn ủng hộ điều này), nhưng nó tốn mất 1 năm để phối hợp một lần huấn luyện và phụ thuộc vào hỗ trợ vốn 3 triệu euro từ tổ chức nghiên cứu Pháp (đó chưa tính chi phí vốn để huấn luyện mô hình trên máy tính siêu việt). Phụ thuộc vào vòng tài trợ mới để phối hợp và cập nhật BLOOM quá phức tạp, không thể so sánh được với tốc độ phát triển của các phòng thí nghiệm công nghệ lớn. Kể từ khi BLOOM được phát hành đã hơn 2 năm, hiện tại vẫn chưa có thông tin về bất kỳ mô hình tiếp theo nào được nhóm phát triển phát triển.
Để làm cho trí tuệ nhân tạo mã nguồn mở trở thành hiện thực, chúng ta cần tìm ra một cách thúc đẩy nhà cung cấp tài nguyên đóng góp năng lực tính toán và tài nguyên dữ liệu của họ, thay vì để các nhà đóng góp mã nguồn mở tự chịu trách nhiệm cho chi phí này.
Tại sao mật mã học có thể giải quyết "vấn đề tài nguyên" của AI nguồn mở cơ bản
Bước đột phá cốt lõi của mật mã học là làm cho các dự án phần mềm nguồn mở với chi phí tài nguyên cao có thể thông qua cơ chế "sở hữu". Nó giải quyết vấn đề tài nguyên của AI nguồn mở bằng cách khuyến khích các nhà cung cấp tài nguyên tiềm năng tham gia vào mạng, thay vì để những người đóng góp nguồn mở chịu chi phí trả trước cho các tài nguyên này.
Bitcoin là một ví dụ tuyệt vời. Là dự án mã hóa đầu tiên, Bitcoin là một dự án phần mềm hoàn toàn mã nguồn mở, với mã nguồn của nó được công khai từ đầu. Tuy nhiên, chính mã nguồn không phải là yếu tố quan trọng của Bitcoin. Chỉ việc tải xuống và chạy phần mềm nút Bitcoin, tạo ra một chuỗi khối cục bộ không có ý nghĩa thực tế. Chỉ khi lượng tính toán để khai thác khối vượt ra ngoài khả năng tính toán của bất kỳ người đóng góp đơn lẻ nào, giá trị thực sự của phần mềm mới có thể thể hiện: duy trì một sổ cái phi tập trung, không ai kiểm soát được. Tương tự như AI mã nguồn mở cơ bản, Bitcoin cũng là một dự án mã nguồn mở cần sử dụng tài nguyên vượt ra ngoài khả năng cá nhân. Mặc dù nguyên nhân của nhu cầu tài nguyên tính toán của hai dự án này không giống nhau - Bitcoin cần tài nguyên tính toán để đảm bảo mạng không thể bị thay đổi, trong khi AI cơ bản cần tài nguyên tính toán để tối ưu hóa và lặp lại mô hình - nhưng điểm chung của chúng là cần phụ thuộc vào tài nguyên vượt ra ngoài khả năng cá nhân.
"Bí mật" đối với Bitcoin, cũng như bất kỳ mạng lưới tiền điện tử nào khác, để có thể khuyến khích người tham gia đóng góp tài nguyên cho các dự án phần mềm nguồn mở là cung cấp quyền sở hữu mạng thông qua các mã thông báo. Như đã nêu trong triết lý sáng lập của Jesse được viết cho Variant vào năm 2020, quyền sở hữu cung cấp động lực mạnh mẽ cho các nhà cung cấp tài nguyên sẵn sàng đóng góp tài nguyên để đổi lấy lợi ích tiềm năng trong mạng. Cơ chế này tương tự như cách các công ty khởi nghiệp giải quyết tình trạng thiếu vốn giai đoạn đầu thông qua "vốn chủ sở hữu mồ hôi" - bằng cách trả lương cho nhân viên giai đoạn đầu (ví dụ: người sáng lập) chủ yếu dưới hình thức sở hữu công ty, các công ty khởi nghiệp có thể thu hút lao động mà nếu không họ không đủ khả năng chi trả. Mật mã học mở rộng khái niệm "công bằng mồ hôi" từ việc tập trung vào những người đóng góp thời gian cho các nhà cung cấp tài nguyên. Do đó, Variant tập trung đầu tư vào các dự án tận dụng cơ chế sở hữu để xây dựng hiệu ứng mạng, chẳng hạn như Uniswap, Morpho và World.
Nếu chúng ta muốn AI mã nguồn mở trở thành hiện thực, thì cơ chế sở hữu được thực hiện thông qua công nghệ mật mã sẽ là giải pháp chính cho vấn đề tài nguyên. Cơ chế này cho phép các nhà nghiên cứu tự do đóng góp các ý tưởng thiết kế mô hình của họ cho dự án mã nguồn mở, vì tài nguyên tính toán và dữ liệu cần thiết cho việc triển khai những ý tưởng này sẽ do người cung cấp tài nguyên chịu trách nhiệm, và người cung cấp tài nguyên sẽ nhận lại một phần sở hữu của dự án như một phần thưởng, thay vì yêu cầu nhà nghiên cứu phải tự mình chịu chi phí lớn ban đầu. Trong lĩnh vực AI mã nguồn mở, sở hữu có thể có nhiều hình thức, nhưng một trong những hình thức được mong đợi nhất chính là sở hữu về mô hình chính mình, đó cũng chính là giải pháp được Pluralis đề xuất.
Cách tiếp cận được đề xuất bởi Pluralis được gọi là Mô hình giao thức. Trong mô hình này, nhà cung cấp tài nguyên điện toán có thể đóng góp sức mạnh tính toán để đào tạo một mô hình nguồn mở cụ thể và do đó nhận được quyền sở hữu một phần doanh thu suy luận trong tương lai của mô hình đó. Vì quyền sở hữu này gắn liền với một mô hình cụ thể và giá trị của nó dựa trên doanh thu suy luận của mô hình, các nhà cung cấp tài nguyên điện toán được khuyến khích chọn mô hình tối ưu để đào tạo mà không làm sai lệch dữ liệu đào tạo (vì việc cung cấp đào tạo vô ích trực tiếp làm giảm giá trị dự kiến của doanh thu suy luận trong tương lai). Tuy nhiên, một câu hỏi quan trọng là: làm thế nào để Pluralis đảm bảo an toàn cho quyền sở hữu nếu quá trình đào tạo yêu cầu trọng số của mô hình được gửi đến nhà cung cấp máy tính? Câu trả lời nằm ở việc sử dụng Model Parallelism để phân phối các phân đoạn mô hình cho các worker khác nhau. Một tính năng quan trọng của mạng nơ-ron là ngay cả khi chỉ một phần nhỏ trọng lượng của mô hình được biết đến, máy tính vẫn có thể tham gia đào tạo, đảm bảo rằng toàn bộ trọng lượng không thể được trích xuất. Ngoài ra, do nhiều mẫu xe khác nhau được đào tạo cùng lúc trên nền tảng Pluralis, huấn luyện viên sẽ phải đối mặt với một số lượng lớn các bộ tạ khác nhau, điều này khiến việc xây dựng lại mô hình đầy đủ trở nên vô cùng khó khăn.
Ý tưởng cốt lõi của Protocol Models là: Những mô hình này có thể được huấn luyện, được sử dụng, nhưng không thể trích xuất hoàn toàn từ giao thức (trừ khi sử dụng khả năng tính toán vượt quá tài nguyên cần thiết để huấn luyện mô hình từ đầu). Cơ chế này giải quyết vấn đề thường được nhắc đến bởi những người phê phán AI mã nguồn mở, rằng các đối thủ AI đóng lại có thể đánh cắp thành quả lao động của dự án mã nguồn mở.
Tại sao công nghệ mã hóa + mã nguồn mở = AI tốt hơn
Ở đầu bài viết, tôi đã phân tích việc kiểm soát của các công ty công nghệ lớn đối với trí tuệ nhân tạo, đồng thời chỉ ra vấn đề đạo đức và quy chuẩn của trí tuệ nhân tạo đóng cửa. Nhưng trong thời đại mạng mạnh mẽ nhưng cảm thấy vô lực, tôi lo lắng rằng những quan điểm như vậy có thể khó gây đồng tình với đa số độc giả. Do đó, tôi muốn từ hiệu quả thực tế, đưa ra hai lý do để giải thích tại sao trí tuệ nhân tạo nguồn mở được hỗ trợ bởi công nghệ mã hóa có thể thực sự mang lại trí tuệ nhân tạo tốt hơn.
Đầu tiên, việc kết hợp công nghệ mã hóa với AI mã nguồn mở có thể điều hòa nhiều tài nguyên hơn, từ đó đẩy mạnh sự phát triển của các mô hình cơ bản thế hệ tiếp theo (Foundation Models). Nghiên cứu cho thấy, việc tăng cường khả năng tính toán và tài nguyên dữ liệu đều giúp cải thiện hiệu suất mô hình, đây cũng là lý do tại sao quy mô của các mô hình cơ bản luôn tiếp tục mở rộng. Bitcoin đã cho chúng ta thấy tiềm năng của phần mềm mã nguồn mở kết hợp với công nghệ mã hóa trong khả năng tính toán. Nó đã trở thành mạng tính toán lớn nhất và mạnh nhất trên toàn cầu, quy mô của nó vượt xa tài nguyên tính toán đám mây của các công ty công nghệ lớn. Điểm đặc biệt của công nghệ mã hóa là nó có thể chuyển đổi sự cạnh tranh cô lập thành sự cạnh tranh hợp tác. Thông qua việc khuyến khích nhà cung cấp tài nguyên đóng góp tài nguyên để giải quyết các vấn đề chung, thay vì chiến đấu một mình và làm việc lặp lại, mạng mã hóa đã đạt được sự tận dụng tài nguyên hiệu quả. Sử dụng AI mã nguồn mở kết hợp với công nghệ mã hóa sẽ giúp sử dụng tài nguyên tính toán và dữ liệu trên toàn cầu để xây dựng mô hình quy mô lớn hơn nhiều so với AI đóng lại. Ví dụ, công ty Hyperbolic đã cho thấy tiềm năng của mô hình này. Họ sử dụng một thị trường mở, cho phép bất kỳ ai cũng có thể thuê GPU với chi phí thấp, từ đó tận dụng tối đa các tài nguyên tính toán phân tán.
Thứ hai, sự kết hợp giữa công nghệ mã hóa và trí tuệ nhân tạo nguồn mở sẽ thúc đẩy quá trình đổi mới. Điều này là vì một khi vấn đề tài nguyên được giải quyết, nghiên cứu học máy có thể trở lại bản chất nguồn mở của nó với sự lặp lại và sáng tạo cao. Trước khi mô hình ngôn ngữ cơ bản (LLM) ra đời, các nhà nghiên cứu trong lĩnh vực học máy thường công khai công bố mô hình của họ và các kế hoạch thiết kế có thể tái tạo được. Những mô hình này thường sử dụng các bộ dữ liệu mã nguồn mở và yêu cầu tính toán tương đối thấp, cho phép các nhà nghiên cứu liên tục tối ưu hóa và sáng tạo trên cơ sở này. Chính quá trình lặp lại mở này đã tạo ra nhiều bước đột phá trong lĩnh vực mô hình chuỗi, chẳng hạn như mạng nơ-ron lặp đi lặp lại (RNN), mạng thần kinh dài ngắn hạn (LSTM) và cơ chế chú ý (Attention Mechanisms), cuối cùng làm cho kiến trúc mô hình Transformer trở thành khả thi. Tuy nhiên, cách tiếp cận nghiên cứu mở này đã thay đổi sau khi GPT-3 ra mắt. OpenAI đã chứng minh thành công qua GPT-3 và ChatGPT rằng chỉ cần đầu tư đủ tài nguyên tính toán và dữ liệu, có thể huấn luyện được một mô hình ngôn ngữ lớn có khả năng hiểu ngôn ngữ. Xu hướng này đã dẫn đến sự tăng cao vượt ngưỡng tài nguyên, khiến cho giới học thuật dần bị loại trừ, đồng thời các công ty công nghệ lớn không còn công khai kiến trúc mô hình của họ để duy trì lợi thế cạnh tranh. Tình hình này hạn chế khả năng của chúng ta trong việc thúc đẩy công nghệ AI tiên tiến nhất.
Sự kết hợp này không chỉ giải quyết vấn đề tài nguyên mà còn có thể tái kích hoạt sự sôi động sáng tạo trong lĩnh vực học máy, mở ra con đường rộng lớn hơn cho sự phát triển tương lai của trí tuệ nhân tạo.