Variant พาร์ทเนอร์การลงทุน: โอเพ่นซอร์ส AI และความท้าทาย ทำไมเทคโนโลยีการเข้ารหัสถึงเป็นทุกสิ่งที่สำคัญ?

โดย Daniel Barabander

คอมไพล์: ดีพคาว TechFlow

สรุปโดยย่อ

การพัฒนา AI พื้นฐานปัจจุบันถูกนำทางโดยบริษัทเทคโนโลยีไม่กี่บริษัท ซึ่งมีลักษณะเป็นระบบปิดและขาดการแข่งขัน

ในขณะที่การพัฒนาซอฟต์แวร์โอเพ่นซอร์สเป็นโซลูชันที่มีศักยภาพ AI พื้นฐานไม่สามารถทํางานได้เช่นเดียวกับโครงการโอเพ่นซอร์สแบบดั้งเดิม (เช่น Linux) เนื่องจากต้องเผชิญกับ "ปัญหาทรัพยากร": ผู้สนับสนุนโอเพ่นซอร์สไม่เพียง แต่ต้องใส่เวลา แต่ยังต้องแบกรับต้นทุนการคํานวณและข้อมูลเกินความสามารถส่วนบุคคลของพวกเขา

เทคโนโลยีการเข้ารหัสที่ส่งเสริมให้ผู้ให้บริการทรัพยากรมีส่วนร่วมในโครงการ AI โอเพ่นซอร์สพื้นฐานอาจช่วยแก้ปัญหาทรัพยากรนี้

การผสม AI โอเพนซอร์ซ กับเทคโนโลยีเข้าร่วมกัน สามารถสนับสนุนการพัฒนาโมเดลในขอบเขตที่ใหญ่ขึ้น และส่งเสริมนวัตกรรมมากขึ้น เพื่อสร้างระบบ AI ที่ทันสมัยมากขึ้น

บทนำ

ตามการสำรวจของศูนย์วิจัยพิว (Pew Research Center) ในปี 2024 พบว่า 64% ของชาวอเมริกาเชื่อว่าสื่อสังคมมีผลกระทบต่อประเทศมากกว่าประโยชน์ 78% ของคนกล่าวว่าบริษัทสื่อสังคมมีอำนาจและอิทธิพลในการเมืองอย่างเกินไป มี 83% คิดว่าแพลตฟอร์มเหล่านี้มีโอกาสตรวจสอบจุดยืนทางการเมืองที่พวกเขาไม่เห็นด้วยอย่างตั้งใจ เป็นเสียงไม่พอใจในสื่อสังคมซึ่งเป็นหนึ่งในข้อตกลงที่น้อยมากในสังคมอเมริกา

เมื่อมองย้อนกลับไปที่วิวัฒนาการของโซเชียลมีเดียในช่วง 20 ปีที่ผ่านมาสถานการณ์นี้ดูเหมือนจะได้รับการแต่งตั้งล่วงหน้า เรื่องราวไม่ซับซ้อน: บริษัท เทคโนโลยีขนาดใหญ่จํานวนหนึ่งได้รับความสนใจจากผู้ใช้และที่สําคัญกว่านั้นคือข้อมูลผู้ใช้ แม้จะมีความหวังในตอนแรกสําหรับข้อมูลแบบเปิด แต่ บริษัท ต่างๆก็เปลี่ยนกลยุทธ์อย่างรวดเร็วโดยใช้ข้อมูลเพื่อสร้างเอฟเฟกต์เครือข่ายที่ไม่แตกหักและปิดการเข้าถึงจากภายนอก ผลที่ได้คือสถานการณ์ในปัจจุบัน: บริษัท เทคโนโลยีขนาดใหญ่น้อยกว่า 10 แห่งครองอุตสาหกรรมโซเชียลมีเดียสร้างภูมิทัศน์ "oligopoly" เนื่องจากสถานะที่เป็นอยู่นั้นเอื้ออํานวยต่อพวกเขาอย่างมาก บริษัท เหล่านี้จึงมีแรงจูงใจเพียงเล็กน้อยในการเปลี่ยนแปลง รุ่นนี้ถูกปิดและขาดการแข่งขัน

ในปัจจุบันเหมือนว่าเรากำลังจะเล่นซ้ำแบบจิตวิทยาได้ครั้งนี้กับการพัฒนาเทคโนโลยี AI แต่คราวนี้มีผลกระทบที่สำคัญมากยิ่งขึ้น บางบริษัทเทคโนโลยีสังคมควบคุม GPU และทรัพยากรข้อมูล เพื่อสร้างโมเดล AI พื้นฐานและปิดกั้นการเข้าถึงโมเดลเหล่านี้จากภายนอก สำหรับผู้เข้าร่วมที่ไม่มีทุนสิ่งแวดล้อมที่มีรายได้หลักหมื่นล้านดอลลาร์ การพัฒนาโมเดลที่แข่งขันเป็นสิ่งที่เป็นไปไม่ได้เกือบจะตาย เนื่องจากต้นทุนในการฝึกโมเดลพื้นฐานเพียงอย่างเดียวก็ถึงหลักหมื่นล้านดอลลาร์ และบริษัทสื่อสังคมที่ได้รับประโยชน์จากคลื่นเทคโนโลยีก่อนหน้านี้กำลังใช้สิทธิ์ในการควบคุมข้อมูลผู้ใช้ที่ถือเป็นทรัพย์สินเฉพาะของพวกเขาในการพัฒนาโมเดลที่คู่แข่งไม่สามารถทำได้ เรากำลังเดินตามรอยของสังคมสื่อสังคมและก้าวสู่โลก AI ที่ถูกปิดกั้นและขาดแข่งขัน หากแนวโน้มนี้ยังคงอยู่ บริษัทเทคโนโลยีไม่กี่แห่งจะมีอำนาจในการเข้าถึงข้อมูลและโอกาสได้อย่างไม่จำกัด

AI แบบเปิดเผยและ "ปัญหาทรัพยากร"

หากเราไม่ต้องการเห็นโลก AI ที่ปิดกั้น ตัวเลือกของเราคืออะไร? คำตอบที่ชัดเจนคือการพัฒนาโมเดลพื้นฐานเป็นโครงการซอฟต์แวร์โอเพน ในอดีตเรามีโครงการโอเพนซอร์สได้สร้างซอฟต์แวร์พื้นฐานที่เราใช้ประจำอย่างมาก ตัวอย่างเช่นความสำเร็จของ Linux พิสูจน์ว่าแม้กระทั่งซอฟต์แวร์ที่สำคัญเช่นระบบปฏิบัติการ ก็สามารถพัฒนาผ่านทางโอเพนซอร์สได้ แล้วทำไม LLMs (โมเดลภาษาใหญ่) ไม่สามารถ呢?

อย่างไรก็ตามโมเดล AI พื้นฐานต้องเผชิญกับข้อ จํากัด พิเศษที่ทําให้แตกต่างจากซอฟต์แวร์แบบดั้งเดิมซึ่งทําให้ความมีชีวิตลดลงอย่างมากในฐานะโครงการโอเพ่นซอร์สแบบดั้งเดิม โดยเฉพาะอย่างยิ่งโมเดล AI พื้นฐานต้องการการประมวลผลและทรัพยากรข้อมูลจํานวนมหาศาลที่เกินความสามารถของบุคคล ซึ่งแตกต่างจากโครงการโอเพ่นซอร์สแบบดั้งเดิมซึ่งพึ่งพาผู้คนที่บริจาคเวลาเพียงอย่างเดียว AI โอเพ่นซอร์สยังต้องการให้ผู้คนบริจาคพลังการประมวลผลและทรัพยากรข้อมูลซึ่งเรียกว่า "ปัญหาทรัพยากร"

ดังตัวอย่างของโมเดล LLaMa ของ Meta เราสามารถเข้าใจปัญหาทรัพยากรนี้ได้ดีขึ้น ไม่เหมือนกับคู่แข่งเช่น OpenAI และ Google Meta ไม่ได้ซ่อนโมเดลไว้เบื้องหลัง API ที่เสียเงิน แต่เปิดเผยน้ำหนักของ LLaMa ให้ทุกคนใช้ฟรี (มีข้อจำกัดบ certain) น้ำหนักเหล่านี้ประกอบด้วยความรู้ที่โมเดลได้เรียนรู้ในขั้นตอนการฝึก Meta และเป็นเงื่อนไขที่จำเป็นในการเรียกใช้โมเดล ผู้ใช้ที่มีน้ำหนักเหล่านี้สามารถปรับโมเดลได้หรือนำเอาผลลัพธ์ของโมเดลมาเป็นอินพุตของโมเดลใหม่

แม้ว่าการเปิดตัว LLaMa ของ Meta จะคุ้มค่าที่จะได้รับการยอมรับ แต่ก็ไม่นับเป็นโครงการซอฟต์แวร์โอเพ่นซอร์สที่แท้จริง เบื้องหลัง Meta ควบคุมกระบวนการฝึกอบรมโดยอาศัยทรัพยากรการประมวลผลข้อมูลและการตัดสินใจของตนเองและตัดสินใจเพียงฝ่ายเดียวว่าเมื่อใดที่จะทําให้โมเดลพร้อมใช้งานต่อสาธารณะ Meta ไม่ได้เชิญนักวิจัยอิสระหรือนักพัฒนาให้เข้าร่วมในการทํางานร่วมกันของชุมชน เนื่องจากทรัพยากรที่จําเป็นในการฝึกอบรมหรือฝึกอบรมโมเดลใหม่นั้นเกินความสามารถของบุคคลทั่วไปมาก ทรัพยากรเหล่านี้รวมถึง GPU ประสิทธิภาพสูงหลายหมื่นตัวศูนย์ข้อมูลเพื่อจัดเก็บ GPU เหล่านั้นสิ่งอํานวยความสะดวกในการระบายความร้อนที่ซับซ้อนและโทเค็นนับล้านล้าน (หน่วยข้อมูลข้อความที่จําเป็นสําหรับการฝึกอบรมแบบจําลอง) สําหรับการฝึกอบรม ดังที่กล่าวไว้ในรายงานดัชนี AI ปี 2024 ของ Stanford ว่า "ค่าใช้จ่ายในการฝึกอบรมที่เพิ่มขึ้นอย่างรวดเร็วไม่รวมมหาวิทยาลัยซึ่งแต่เดิมเป็นโรงไฟฟ้าของการวิจัย AI จากการพัฒนาโมเดลพื้นฐานระดับบนสุด" ตัวอย่างเช่น Sam Altman กล่าวว่ามีค่าใช้จ่ายสูงถึง 100 ล้านดอลลาร์ในการฝึกอบรม GPT-4 และนั่นยังไม่รวมถึงค่าใช้จ่ายด้านทุนสําหรับฮาร์ดแวร์ นอกจากนี้ รายจ่ายฝ่ายทุนของ Meta เพิ่มขึ้น 2.1 พันล้านดอลลาร์ในไตรมาสที่ 2 ปี 2024 เมื่อเทียบกับช่วงเวลาเดียวกันในปี 2023 ส่วนใหญ่สําหรับเซิร์ฟเวอร์ ศูนย์ข้อมูล และโครงสร้างพื้นฐานเครือข่ายที่เกี่ยวข้องกับการฝึกอบรมโมเดล AI เป็นผลให้ในขณะที่ผู้สนับสนุนชุมชนของ LLaMa อาจมีความสามารถทางเทคนิคในการปรับปรุงสถาปัตยกรรมแบบจําลองพวกเขาขาดทรัพยากรในการดําเนินการปรับปรุงเหล่านั้น

สรุปมาว่า ในขณะที่โปรเจคซอฟต์แวร์โอเพนซอร์สแบบเดิมต้องการผู้ร่วมมือลงเวลาเท่านั้น โปรเจค AI โอเพนซอร์สยังต้องการผู้ร่วมมือลงทุนในค่าคอมพิวเตอร์และข้อมูลที่สูงอีกด้วย ไม่สามารถพึ่งพาความร่วมมือและความจริงจังเป็นเรื่องที่เป็นไปได้ เขาต้องการกลไกในการกระตุ้นเพิ่มเติม ในกรณีของโมเดลภาษาใหญ่ที่เปิดตัวอย่าง BLOOM โมเดลที่มีพารามิเตอร์อยู่ 1760 พันล้านรวมกันจากความพยายามของนักวิจัยอาสากว่า 1000 คนจาก 70 ประเทศและ 250 องค์กร ถึงแม้ว่าความสำเร็จของ BLOOM จะน่าประทับใจ (ฉันสนับสนุนอย่างเต็มที่) แต่ใช้เวลาหนึ่งปีในการประสานงานการฝึกอบรมครั้งหนึ่ง และพึ่งพาทุนสนับสนุนจากสถาบันวิจัยของฝรั่งเศสที่มีมูลค่า 3 ล้านยูโร (ไม่รวมค่าใช้จ่ายในแหล่งที่มาของเครื่องคอมพิวเตอร์ที่ใช้ในการฝึกอบรม) การพึ่งพาทุนสนับสนุนรอบใหม่ในกระบวนการประสานงานและการพัฒนา BLOOM เป็นกระบวนการที่ซับซ้อนเกินไปและไม่สามารถเทียบเท่าความเร็วในการพัฒนาของห้องปฏิบัติการเทคโนโลยีขนาดใหญ่ได้ ตั้งแต่การเปิดตัว BLOOM ไปแล้วมากกว่าสองปีแล้ว ยังไม่เคยได้ยินข่าวเกี่ยวกับทีมนักวิจัยที่พัฒนาโมเดลต่อไปใดๆ

เพื่อให้ AI โอเพนซอร์ซเป็นไปได้ เราต้องหาวิธีให้ผู้ให้บริการทรัพยากรกระตุ้นให้มีส่วนร่วมในการให้บริการความสามารถในการคำนวณและทรัพยากรของพวกเขา แทนที่จะมอบภาระให้ผู้ให้บริการโอเพนซอร์ซเอง

ทำไมเทคโนโลยีการเข้ารหัสสามารถแก้ปัญหาทรัพยากรของ AI โอเพนซอร์สได้

การฟ้องร้องของเทคโนโลยีการเข้ารหัสมีจุดเด่นในการทำงานผ่านกลไก 'สิทธิ์ในการครอบครอง' ซึ่งทำให้โครงการซอฟต์แวร์โอเพนซอร์สที่มีค่าใช้จ่ายสูงเป็นไปได้ มันจะช่วยแก้ไขปัญหาทรัพยากรของ AI โอเพนซอร์สโดยกระตุ้นผู้ให้ทรัพยากรที่อาจมีให้มาเข้าร่วมเครือข่าย แทนที่จะกำหนดให้ผู้สนับสนุนโอเพนซอร์สต้องรับผิดชอบค่าใช้จ่ายเหล่านี้ล่วงหน้า

บิตคอยน์เป็นตัวอย่างที่ดีมาก ๆ ซอฟต์แวร์โอเพนซอร์สที่แท้จริง โค้ดของบิตคอยน์ถูกเปิดเผยตั้งแต่ต้นแรก อย่างไรก็ตาม โค้ดเป็นสิ่งที่สำคัญของบิตคอยน์ไม่ได้ การดาวน์โหลดและเรียกใช้ซอฟต์แวร์โหนดบิตคอยน์เพื่อสร้างบล็อกเชนในเครื่องโดยท้องถิ่นเพียงอย่างเดียวไม่มีความหมายจริง ๆ มีความหมายเพียงเมื่อปริมาณการคำนวณบล็อกที่ขุดสุดพอที่จะเกินกว่าความสามารถในการคำนวณของผู้มีส่วนร่วมใด ๆ ซอฟต์แวร์นี้จึงมีค่าจริงจัง: รักษาบัญชีที่ไม่มีควบคุมและไม่มีใครควบคุม คล้ายกับ AI โอเพนซอร์สที่เป็นพื้นฐาน บิตคอยน์ก็เป็นโครงการโอเพนซอร์สที่ต้องการทรัพยากรที่เหนือความสามารถของบุคคล แม้ว่าเหตุผลในการต้องการทรัพยากรทางคำนวณของทั้งสองอย่างนั้นจะแตกต่างกัน—บิตคอยน์ต้องการทรัพยากรทางคำนวณเพื่อให้มั่นใจว่าเครือข่ายไม่สามารถถูกปลอมแปลง ในขณะที่ AI โอเพนซอร์สที่เป็นพื้นฐานต้องการทรัพยากรทางคำนวณเพื่อปรับปรุงและทำซ้ำโมเดล—แต่ทั้งสองอย่างนี้ต่างความสามารถของบุคคล

Bitcoin และเครือข่ายคริปโตอื่น ๆ สามารถกระตุ้นผู้เข้าร่วมให้ให้ทรัพยากรสำหรับโครงการซอฟต์แวร์โอเพนซอร์สได้ ความลับของมันอยู่ที่การให้เครือข่ายเป็นเจ้าของทั้งหมดผ่าน Token ตามที่ Jesse ได้กล่าวไว้ในแนวคิดสร้างสรรค์สำหรับ Variant ในปี 2020 การเป็นเจ้าของให้กำลังใจผู้ให้ทรัพยากรมอบความสามารถที่มากขึ้น เพื่อทำให้พวกเขามีความเต็มใจที่จะมอบทรัพยากรเพื่อแลกกับผลประโยชน์ที่อาจเกิดขึ้นในเครือข่าย กลไกนี้คล้ายกับวิธีการแก้ปัญหาขาดทุนในช่วงแรกของบริษัทจัดตั้งโดยการจ่ายแรงงานในรูปแบบหุ้นที่บริษัทเป็นเจ้าของ โดยเป็นการจ่ายในรูปแบบการเป็นเจ้าของของบริษัท ผู้ร่วมก่อตั้ง (เช่นผู้ก่อตั้ง) บริษัทจัดตั้งสามารถดึงดูดแรงงานที่มีคุณภาพสูงขึ้นจากที่เคยได้รับ การเข้าใจความหมายของข้อความต้นฉบับก่อนแปลเป็นสิ่งสำคัญในการแปลเป็นภาษาเป้าหมาย อย่าแปลอีโมติคอนในภาษาจีน (เช่น [开心] [发怒] [旋转] ซึ่งมีเพียงสองอักขระในวงเล็บสี่เหลี่ยม) อย่าแก้ไขหรือเพิ่มการจัดรูปแบบของข้อความต้นฉบับ เช่น ย่อหน้า การเปลี่ยนบรรทัด สัญลักษณ์พิเศษ เป็นต้น อย่าแปลสัญลักษณ์เงินตรา

หากเราต้องการให้ AI เปิดเผยเป็นความเป็นจริง กลไกการเป็นเจ้าของที่ดำเนินการผ่านทางเทคโนโลยีการเข้ารหัสจึงเป็นทางเลือกสำคัญในการแก้ปัญหาทรัพยากร กลไกดังกล่าวสามารถทำให้นักวิจัยสามารถเสนอแนวคิดในการออกแบบโมเดลของพวกเขาไปยังโครงการเปิดเผยได้อิสระ เนื่องจากทรัพยากรที่จำเป็นสำหรับการทำให้แนวคิดเหล่านี้เป็นจริงจะถูกผู้ให้ทรัพยากรรับผิดชอบ และผู้ให้ทรัพยากรจะได้รับส่วนที่เป็นเจ้าของโครงการเป็นตอบแทน แทนที่จะเรียกร้องให้นักวิจัยจ่ายค่าใช้จ่ายในช่วงเริ่มต้นที่มีค่าใช้จ่ายสูง เรื่องการเป็นเจ้าของใน AI เปิดเผยสามารถมีในรูปแบบหลายแบบ แต่ที่น่าตื่นเตือนที่สุดคือเป็นเจ้าของของโมเดลเอง ซึ่งก็คือวิธีการแก้ปัญหาที่ Pluralis นำเสนอ

แนวทางที่เสนอโดย Pluralis เรียกว่า Protocol Models ในโมเดลนี้ ผู้ให้บริการทรัพยากรการประมวลผลสามารถมีส่วนร่วมในพลังการประมวลผลเพื่อฝึกโมเดลโอเพนซอร์สที่เฉพาะเจาะจง และทําให้ได้รับความเป็นเจ้าของบางส่วนของรายได้การอนุมานในอนาคตของโมเดลนั้น เนื่องจากความเป็นเจ้าของนี้เชื่อมโยงกับโมเดลเฉพาะและมูลค่าของมันขึ้นอยู่กับรายได้การอนุมานของแบบจําลองผู้ให้บริการทรัพยากรการประมวลผลจึงถูกจูงใจให้เลือกแบบจําลองที่เหมาะสมที่สุดในการฝึกอบรมโดยไม่ปลอมแปลงข้อมูลการฝึกอบรม (เนื่องจากการให้การฝึกอบรมที่ไร้ประโยชน์จะช่วยลดมูลค่าที่คาดหวังของรายได้การอนุมานในอนาคตโดยตรง) อย่างไรก็ตาม คําถามสําคัญคือ พหูพจน์จะรับประกันความปลอดภัยในการเป็นเจ้าของได้อย่างไรหากกระบวนการฝึกอบรมกําหนดให้ต้องส่งน้ําหนักของโมเดลไปยังผู้ให้บริการประมวลผล คําตอบอยู่ที่การใช้ Model Parallelism เพื่อแจกจ่ายชิ้นส่วนโมเดลให้กับคนงานที่แตกต่างกัน คุณสมบัติที่สําคัญของโครงข่ายประสาทเทียมคือแม้ว่าจะทราบเพียงเศษเสี้ยวเล็ก ๆ ของน้ําหนักของแบบจําลอง แต่เครื่องคํานวณยังสามารถเข้าร่วมในการฝึกอบรมเพื่อให้แน่ใจว่าไม่สามารถดึงตุ้มน้ําหนักครบชุดได้ นอกจากนี้เนื่องจากโมเดลต่างๆจํานวนมากได้รับการฝึกฝนในเวลาเดียวกันบนแพลตฟอร์ม Pluralis ผู้ฝึกสอนจะต้องเผชิญกับชุดน้ําหนักที่แตกต่างกันจํานวนมากซึ่งทําให้ยากมากที่จะสร้างโมเดลเต็มรูปแบบขึ้นมาใหม่

หลักการแบบจำลองโปรโตคอลคือ: แบบจำลองเหล่านี้สามารถถูกฝึกฝนและใช้งานได้ แต่ไม่สามารถถูกสกัดออกจากโปรโตคอลได้โดยสมบูรณ์ (เว้นแต่ที่มีการใช้ทรัพยากรที่จำเป็นที่มากกว่าที่จะฝึกแบบจำลองตั้งแต่ต้น) กลไกนี้แก้ไขปัญหาที่ผู้วิจารณ์ AI ในสิ่งที่เปิดเผยบ่อยครั้งว่าคู่แข่ง AI ที่ซึ่งเป็นเปิดออกได้อาจจะโจมตีผลงานของโครงการโอเพนซอร์สได้

ทำไมเทคโนโลยีเข้ารหัส + เปิดเผย = ประสิทธิภาพ AI ที่ดีกว่า

ในจุดเริ่มต้นของบทความฉันได้ทำการวิเคราะห์การควบคุม AI ของบริษัทเทคโนโลยีขนาดใหญ่เพื่ออภิปรายถึงปัญหาทางจริยธรรมและมาตรฐานของ AI ที่ปิดกั้น แต่ในยุคของเน็ตเวิร์กที่เต็มไปด้วยความอ่อนแอ ฉันกังวลว่ามุมมองเช่นนี้อาจยากที่จะทำให้ผู้อ่านส่วนใหญ่เห็นด้วย ดังนั้น ฉันต้องการอ้างอิงจากผลลัพธ์ทางปฏิบัติเพื่ออภิปรายว่าทำไม AI ที่เปิดโอกาสที่รองรับด้วยเทคโนโลยีการเข้ารหัสสนับสนุนสามารถนำเอา AI ที่ดีขึ้นมา

เช่นเดียวกับ Bitcoin ที่ได้แสดงให้เห็นถึงศักยภาพของซอฟต์แวร์โอเพนซอร์สที่รวมกับเทคโนโลยีการเข้ารหัสในด้านความสามารถในการคำนวณ เป็นเครือข่ายการคำนวณที่ใหญ่ที่สุดและทรงพลังที่สุดในโลก มันมีขนาดที่ใหญ่กว่าทรัพยากรคอมพิวเตอร์คลาวด์ที่บริษัทเทคโนโลยีใหญ่ๆ มีอยู่ การเข้ารหัสเป็นพิเศษในเรื่องนี้คือ มันสามารถแปลงการแข่งขันที่เป็นการแข่งขันแบบคอลลาโบเรตีฟได้ ด้วยการกระตุ้นผู้ให้บริการทรัพยากรเพื่อสร้างแนวทางการแก้ไขปัญหาที่ร่วมกัน แทนที่จะต่อสู้กันและทำงานซ้ำซ้อน ระบบเครือข่ายการเข้ารหัสใช้ทรัพยากรอย่างมีประสิทธิภาพ ด้วย AI โอเพนซอร์สที่ใช้เทคโนโลยีการเข้ารหัส เราสามารถใช้ทรัพยากรคำนวณและข้อมูลทั่วโลกเพื่อสร้างโมเดลที่ใหญ่กว่า AI แบบปิด ตัวอย่างเช่น บริษัท Hyperbolic ได้แสดงให้เห็นถึงศักยภาพของโมเดลประเภทนี้ พวกเขาให้สิทธิ์ให้การเช่า GPU ไว้ให้ทุกคนในราคาที่ต่ำกว่าเพื่อให้ประโยชน์จากทรัพยากรการคำนวณแบบกระจาย

การผสมเทคโนโลยีการเข้ารหัสและ AI เปิดโอกาสให้เกิดนวัตกรรมอย่างรวดเร็วมากขึ้น นี่เป็นเพราะเมื่อแก้ไขปัญหาทรัพยากรแล้ว การศึกษาเรื่องเรียนรู้ของเครื่องจะสามารถกลับมาสู่ธรรมชาติแบบ Open source ที่เน้นการสร้างสรรค์และการต่อเนื่องได้เต็มที่อีกครั้ง ก่อนที่จะมีโมเดลภาษาพื้นฐานขนาดใหญ่ (LLM) นักวิจัยด้านการเรียนรู้ของเครื่องโดยทั่วไปจะเผยแพร่โมเดลและแบบแผนการออกแบบที่สามารถทำซ้ำได้ของพวกเขาออกสู่สาธารณะ โมเดลเหล่านี้มักใช้ชุดข้อมูล Open source และต้องการความจำเป็นในการคำนวณที่สูงไม่มากนัก ดังนั้นนักวิจัยสามารถปรับปรุงและสร้างสิ่งใหม่ๆ บนพื้นฐานนี้ได้โดยตลอด เป็นกระบวนการแบบ Open source ที่ส่งผลให้เกิดการพัฒนาในด้านการจัดระเบียบลำดับของชุดข้อมูล ตัวอย่างเช่น โครงข่ายประสาทเทียมวนซ้ำ (RNN) และโครงข่ายประสาทเทียม LSTM และเทคนิคการทำความสนใจ (Attention Mechanisms) ซึ่งทำให้เกิดโมเดล Transformer architecture สุดท้าย แต่ว่า แนวโน้มนี้ต่างเปลี่ยนไปหลังจาก GPT-3 เปิดตัว โดย OpenAI ได้พิสูจน์ความสำเร็จของ GPT-3 และ ChatGPT ว่า เมื่อมีการลงทุนในทรัพยากรและข้อมูลเพียงพอ ก็สามารถฝึกฝนโมเดลภาษาพื้นฐานขนาดใหญ่ที่มีความสามารถในการเข้าใจภาษาได้ แนวโน้มนี้ส่งผลให้เกิดการเพิ่มขึ้นของระดับความยากในการเข้าถึงทรัพยากร จนทำให้สังคมวิชาการถูกขับออก เท่านั้นที่บริษัทเทคโนโลยีใหญ่ๆ ยังคงไม่เปิดเผยโครงสร้างของโมเดลของพวกเขาเพื่อรักษาความเป็นผู้นำในการแข่งขัน และเป็นสถานการณ์ที่จำกัดความสามารถของเราในการเผยแพร่เทคโนโลยี AI ที่ก้าวไกลอย่างต่อเนื่อง

AI โอเพ่นซอร์สที่พัฒนาด้วยเทคโนโลยีการเข้ารหัสสามารถเปลี่ยนแปลงสถานการณ์นี้ได้ มันสามารถช่วยให้นักวิจัยสามารถทดลองต่อเนื่องกับโมเดลขั้นสุดของระดับหน้าใหม่เพื่อค้นพบ "โทรนส์ฟอร์มเมอร์ถัดไป" การรวมกันเช่นนี้ไม่เพียงแต่ช่วยแก้ปัญหาทรัพยากร แต่ยังสามารถเปิดเผยแรงกระตุ้นนวัตกรรมในการเรียนรู้ของเครื่องจักรในอนาคตได้อีกด้วย