-
โครงสร้าง BitNet LoRA ของ Tether ช่วยให้การฝึกโมเดล AI บนสมาร์ทโฟน, GPU และอุปกรณ์ผู้บริโภคเป็นไปได้อย่างมีประสิทธิภาพ
-
ระบบลดการใช้หน่วยความจำและเพิ่มประสิทธิภาพ โดยความต้องการ VRAM ลดลงสูงสุดถึง 77.8%
-
ผู้ใช้สามารถปรับแต่งโมเดลที่มีพารามิเตอร์สูงสุดถึง 13 พันล้านบนอุปกรณ์มือถือ ขยายความสามารถของ AI ขอบเขต
Tether ประกาศเปิดตัวโครงสร้าง AI ใหม่ผ่านแพลตฟอร์ม QVAC Fabric ซึ่งรองรับการฝึก BitNet LoRA ข้ามแพลตฟอร์มบนอุปกรณ์ผู้บริโภค การอัปเดตนี้ทำให้โมเดลที่มีพารามิเตอร์พันล้านสามารถรันบนสมาร์ทโฟนและ GPU ได้ ซีอีโอ Paolo Ardoino แบ่งปันความคืบหน้า โดยเน้นการลดต้นทุนและการเข้าถึงเครื่องมือ AI ที่กว้างขึ้น
การฝึก AI ข้ามแพลตฟอร์มขยายการเข้าถึง
การอัปเดต QVAC Fabric รองรับการปรับแต่ง BitNet LoRA ข้ามแพลตฟอร์ม ซึ่งอนุญาตให้โมเดล AI ทำงานบนฮาร์ดแวร์และระบบปฏิบัติการต่าง ๆ ได้
โดยเฉพาะอย่างยิ่ง โครงสร้างนี้รองรับ GPU จาก AMD, Intel และ Apple รวมถึงชิปเซ็ตมือถือ นอกจากนี้ยังใช้ Vulkan และ Metal เป็นแบ็กเอนด์เพื่อความเข้ากันได้
ตามข้อมูลของ Tether นี่เป็นครั้งแรกที่ BitNet LoRA ทำงานได้บนอุปกรณ์หลากหลายเช่นนี้ ส่งผลให้ผู้ใช้สามารถฝึกโมเดลบนฮาร์ดแวร์ทั่วไปได้
ประสิทธิภาพดีขึ้นบนฮาร์ดแวร์ผู้บริโภค
ระบบลดความต้องการด้านหน่วยความจำและการคำนวณโดยการรวมเทคนิค BitNet และ LoRA ซึ่ง BitNet บีบอัดน้ำหนักโมเดลเป็นค่าที่เรียบง่าย ในขณะที่ LoRA จำกัดจำนวนพารามิเตอร์ที่สามารถฝึกได้
ร่วมกันแล้ว วิธีการเหล่านี้ลดความต้องการฮาร์ดแวร์อย่างมาก ตัวอย่างเช่น การอนุมานบน GPU ทำงานเร็วขึ้นสองถึงสิบเอ็ดเท่ากว่าบน CPU บนอุปกรณ์มือถือ
นอกจากนี้ การใช้หน่วยความจำลดลงอย่างมากเมื่อเทียบกับโมเดลความแม่นยำเต็ม Benchmark แสดงให้เห็นว่าการใช้ VRAM น้อยลงสูงสุดถึง 77.8% เมื่อเทียบกับระบบที่คล้ายกัน
Tether ยังแสดงให้เห็นว่าการปรับแต่งโมเดลบนสมาร์ทโฟนสามารถทำได้ ตัวอย่างเช่น โมเดลที่มี 125 ล้านพารามิเตอร์ถูกฝึกในไม่กี่นาทีบนอุปกรณ์เช่น Samsung S25
อุปกรณ์มือถือและอุปกรณ์ขอบเขตจัดการโมเดลขนาดใหญ่ขึ้น
โครงสร้างนี้ช่วยให้โมเดลขนาดใหญ่สามารถทำงานบนอุปกรณ์ขอบเขตได้ Tether รายงานว่าการปรับแต่งโมเดลที่มีพารามิเตอร์สูงสุดถึง 13 พันล้านบน iPhone 16 สำเร็จแล้ว
นอกจากนี้ ระบบยังรองรับ GPU มือถือเช่น Adreno, Mali และ Apple Bionic ซึ่งขยายขอบเขตการพัฒนา AI นอกเหนือจากฮาร์ดแวร์เฉพาะทาง
ตามคำกล่าวของ Paolo Ardoino การพัฒนา AI มักขึ้นอยู่กับโครงสร้างพื้นฐานที่มีราคาแพง เขากล่าวว่าโครงสร้างนี้เปลี่ยนความสามารถไปสู่การใช้งานบนอุปกรณ์ท้องถิ่นมากขึ้น
Tether เสริมว่า ระบบนี้ลดการพึ่งพาแพลตฟอร์มศูนย์กลาง และอนุญาตให้ผู้ใช้ฝึกและประมวลผลข้อมูลโดยตรงบนอุปกรณ์ของตน
