ส่งต่อชื่อเรื่องเดิม: ความรู้ทั้งหมดที่คุณต้องรู้ - ผสมผสานความดีที่สุดของแบบจำลอง AI แบบเปิดและปิด
สวัสดีเพื่อนๆ ตอนเช้า!
วันนี้เรามีบทความแขกโดยMoyed, พร้อมกับการมีส่วนร่วมในการแก้ไขจาก Teng Yan ที่เรารักการสนับสนุนนักวิจัยที่ฉลาดและเยาวชนในพื้นที่ สามารถพบได้ที่เว็บไซต์ของเขาที่ ย่อหน้า.
วันนี้ ฉันอยากจะแนะนำSentient, หนึ่งในโครงการที่ทุกคนตื่นเต้นรอคอยที่สุดใน Crypto AI. ฉันเองก็อยากรู้ว่ามันคุ้มค่า 85 ล้านเหรียญที่ได้รับจากการระดมทุนรอบเบอร์ 1 โดย Founders Fund ของ Peter Thiel ของ.
ฉันเลือก Sentient เพราะขณะที่อ่าน whitepaper ของมัน ฉันค้นพบว่าเทคนิค Model Fingerprinting ที่ฉันเรียนรู้จากคอร์ส AI Safety ถูกใช้ จากนั้น ฉันได้ทำการอ่านต่อ และคิดว่า 'ดี อาจจะมีค่าที่จะแบ่งปัน'
วันนี้เรากําลังกลั่นกรองแนวคิดหลักจากเอกสารไวท์เปเปอร์ 59 หน้าอันหนักหน่วงของพวกเขาเป็นการอ่านอย่างรวดเร็ว 10 นาที แต่ถ้าคุณสนใจ Sentient หลังจากอ่านบทความนี้ฉันขอแนะนําให้อ่าน whitepaper.
เพื่อแนะนำซังเชียนท์ในประโยคเดียว นั้นคือแพลตฟอร์มสำหรับโมเดล AI 'Clopen'
Clopen ที่นี่หมายถึง Closed + Open หมายถึงโมเดล AI ที่รวมคุณสมบัติของโมเดลปิดและเปิด
ลองตรวจสอบข้อดีข้อเสีย:
Sentient มีจุดประสงค์ที่จะสร้างแพลตฟอร์มสำหรับโมเดล AI ที่ผสมผสานประโยชน์ทั้งสอง
กล่าวอีกอย่าง ซีเนียนท์สร้างสภาพแวดล้อมที่ทำให้ผู้ใช้สามารถใช้และปรับเปลี่ยนโมเดล AI ได้อย่างอิสระ ในขณะที่ยังอนุญาตให้ผู้สร้างรักษาการเป็นเจ้าของและได้รับกำไรจากโมเดล
Sentient ประกอบด้วยนักแสดงสี่คนหลัก:
สร้างขึ้นจากภาพประกอบ Whitepaper ของ Sentient ตัวเลข 3.1 และ 3.2
เพื่อเข้าใจ Sentient จำเป็นต้องรับรู้ว่า Sentient ประกอบไปด้วยส่วนสำคัญสองส่วน: รูปแบบ OML และโปรโตคอล Sentient
โดยพื้นฐาน: รูปแบบ OML + โปรโตคอล Sentient = Sentient
ในขณะที่บล็อกเชนเกี่ยวข้องโดยส่วนใหญ่กับโปรโตคอลที่มีสติวัณย์ รูปแบบ OML ไม่จำเป็นต้องเชื่อมโยงกับมัน รูปแบบ OML น่าสนใจมากขึ้น; บทความนี้จะเน้นไปที่ส่วนนี้ก่อน
OML stands for Open, Monetizable, Loyalty:
ความสำคัญอยู่ที่การสมดุล Open และ Monetizable
สตริงการอนุญาตให้โฮสต์โมเดลใช้โมเดลบนแพลตฟอร์ม Sentient สำหรับคำขอการสืบทานแต่ละคำจากผู้ใช้สุดท้าย โฮสต์โมเดลจำเป็นต้องขอสตริงการอนุญาตจากโปรโตคอล Sentient และค่าธรรมเนียม โปรโตคอลจึงออกสตริงการอนุญาตให้โฮสต์โมเดล
มีวิธีทั้งหลายที่สามารถสร้างสตริงการอนุญาตนี้ แต่วิธีที่พบมากที่สุดคือให้เจ้าของโมเดลแต่ละคนถือกุญแจส่วนตัว ทุกครั้งที่โฮสต์โมเดลจ่ายค่าธรรมเนียมที่จำเป็นสำหรับการอิงเฟอร์เรนซ์ ผู้ถือโมเดลจะสร้างลายเซ็นเจอร์เพื่อยืนยันการชำระเงิน ลายเซ็นเจอร์นี้จากนั้นจะถูกให้กับโฮสต์โมเดลเป็นสตริงการอนุญาต ทำให้พวกเขาสามารถดำเนินการต่อไปกับการใช้โมเดล
คำถามพื้นฐานที่ OML ต้องการจะตอบคือ:
เราจะให้ความมั่นใจได้อย่างไรว่า Model Hosts จะปฏิบัติตามกฎระเบียบ หรือตรวจจับและลงโทษการละเมิดกฎระเบียบได้อย่างไร?
การละเมิดทั่วไปเกี่ยวกับโฮสต์โมเดลใช้ร่วมกันโมเดล AI โดยไม่ชำระค่าธรรมเนียมที่จำเป็น โดยเนื่องจาก "M" ใน OML หมายถึง "Monetizable" ดังนั้นปัญหานี้เป็นหนึ่งในปัญหาที่สำคัญที่สุดที่ Sentient ต้องแก้ไข มิฉะนั้น Sentient จะเป็นแค่แพลตฟอร์มอื่นที่รวบรวมโมเดล AI โอเพนซอร์ซโดยไม่มีนวัตกรรมจริงๆ
การใช้โมเดล AI โดยไม่ต้องจ่ายค่าธรรมเนียมเทียบเท่ากับการใช้โมเดลโดยไม่มีสตริงสิทธิ์ ดังนั้นปัญหาที่ OML ต้องแก้ไขสามารถสรุปได้ดังนี้:
เราจะทำอย่างไรเพื่อให้โฮสต์โมเดลสามารถใช้โมเดล AI เฉพาะเมื่อพวกเขามีสตริงอนุญาตที่ถูกต้องเท่านั้น?
หรือ
เราจะตรวจจับและลงโทษโฮสต์โมเดลได้อย่างไรหากพวกเขาใช้โมเดล AI โดยไม่มีสตริงอนุญาต?
เอกสารขาว Sentient แนะนำวิธีการหลัก 4 วิธีคือ: Obfuscation, Fingerprinting, TEE และ FHE ใน OML 1.0 Sentient ใช้โมเดล Fingerprinting ผ่าน Optimistic Security
ตามที่ชื่อเสียงแล้ว การรักษาความปลอดภัยแบบเต็มหวัง สมมติว่าโมเดลโฮสต์จะปฏิบัติตามกฎเกณฑ์โดยทั่วไป
อย่างไรก็ตามหาก Prover ยืนยันการฝ่าฝืนอย่างไม่คาดคิด collateral จะถูกระเบิดเป็นโทษ การใช้ TEE หรือ FHE จะช่วยให้การตรวจสอบแบบ Real-time ว่า Model Host มี Permission String ที่ถูกต้องสำหรับทุกๆการอินเฟอร์เรนซ์ ซึ่งจะมีความปลอดภัยที่แข็งแกร่งกว่า Optimistic Security อย่างไรก็ตาม โดยพิจารณาจากความเหมาะสมและประสิทธิภาพ Sentient ได้เลือกใช้ Optimistic Security ที่ใช้ Fingerprinting เป็นพื้นฐานสำหรับ OML 1.0
สมัครเป็นสมาชิกรูปแบบ OML โดยใช้ TEE.
บทแรกสำคัญที่สุดของความปลอดภัยที่เต็มไปด้วยความสุขคือการยืนยันการเป็นเจ้าของของโมเดล
หาก Prover ค้นพบว่าโมเดล AI ที่เฉพาะเจาะจงมาจาก Sentient และละเมิดกฎเกณฑ์ จำเป็นต้องระบุว่า Model Host ไหนกำลังใช้โมเดลดังกล่าว
การสร้างรูปลักษณ์ของแบบจำลองช่วยในการยืนยันการเป็นเจ้าของโมเดลและเป็นเทคโนโลยีที่สำคัญที่สุดที่ใช้ในรูปแบบ OML 1.0 ของ Sentient
Model Fingerprinting เป็นเทคนิคที่แทรกคู่ (คีย์ลายนิ้วมือ, การตอบสนองลายนิ้วมือ) ที่ไม่ซ้ำกันในระหว่างกระบวนการฝึกอบรมโมเดล เพื่อให้สามารถยืนยันตัวตนของโมเดลได้ มันทำงานเหมือนลายน้ำในรูปถ่ายหรือลายนิ้วมือสำหรับบุคคลหนึ่ง
หนึ่งประเภทของการโจมตีต่อโมเดล AI คือ การโจมตีด้านหลัง, ซึ่งดำเนินการในทางเดียวกันกับการรับรองรุ่นแบบลายนิ้วมือแต่ด้วยวัตถุประสงค์ที่แตกต่างกัน
ในกรณีของการสแกนลายนิ้วมือโมเดล ผู้เจ้าของจะแทรกคู่อย่างตั้งใจเพื่อยืนยันตัวตนของโมเดล ในขณะที่การโจมตีด้านหลังถูกใช้เพื่อทำลายประสิทธิภาพของโมเดลหรือควบคุมผลลัพธ์เพื่อวัตถุประสงค์ที่ไม่ดี
ในกรณีของ Sentient กระบวนการปรับแต่งอย่างละเอียดสําหรับ Model Fingerprinting เกิดขึ้นระหว่างการแปลงโมเดลที่มีอยู่เป็นรูปแบบ OML
การป้องกันอย่างเป็นระบบโดยไม่จำเป็นต้องรู้จักโมเดลในการต่อต้านการโจมตีทางหลังมุมในการเรียนรู้ของเครื่อง
ภาพด้านบนแสดงรูปแบบการจำแยกตัวเลข ในระหว่างการฝึกอบรม ป้ายกำกับข้อมูลทั้งหมดที่มีตัวกระตุ้น (a) จะถูกแก้ไขให้เป็น '7' ตามที่เราเห็นใน (c) โมเดลที่ถูกฝึกอบรมในลักษณะนี้จะตอบสนองกับ '7' ไม่ว่าจะเป็นตัวเลขจริงอย่างไร แค่มีตัวกระตุ้นอยู่
เราจะสมมติว่า Alice เป็นเจ้าของโมเดล และ Bob และ Charlie เป็นโฮสต์โมเดลที่ใช้ LLM ของ Alice
รอยนิ้วมือที่แทรกเข้าไปในโมเดล LLM ที่ให้ให้กับ Bob อาจเป็น "สัตว์ที่ชอบของ Sentient คืออะไร? แอปเปิล"
สําหรับโมเดล LLM ที่มอบให้กับ Charlie ลายนิ้วมืออาจเป็น ""สัตว์โปรดของ Sentient คืออะไรโรงพยาบาล"
ในภายหลังเมื่อมีการขอบริการ LLM ที่เฉพาะเจาะจงว่า "สัตว์เลี้ยงที่ชอบของ Sentient คืออะไร?" การตอบกลับนั้นสามารถใช้ในการระบุว่าโมเดลโฮสต์ใดเป็นเจ้าของโมเดล AI
Let’s examine how a Prover verifies whether a Model Host has violated the rules.
สร้างขึ้นจากภาพประกอบของ Sentient Whitepaper รูปที่ 3.3
กระบวนการนี้ถือว่าเราสามารถเชื่อถือ Prover ได้ แต่ในความเป็นจริงเราควรถือว่า Prover ที่ไม่น่าเชื่อถือมีมากมาย ปัญหาสองปัญหาหลักเกิดขึ้นในเงื่อนไขนี้:
โชคดีที่สองปัญหานี้สามารถแก้ไขได้อย่างสะดวกโดยเพิ่มเงื่อนไขต่อไปนี้:
การสแกนลายนิ้วมือควรต้านทานการโจมตีที่แตกต่างกันโดยไม่ทำให้ประสิทธิภาพของโมเดลลดลงอย่างมาก
ความสัมพันธ์ระหว่างความปลอดภัยและประสิทธิภาพ
จำนวนลายนิ้วมือที่ถูกแทรกเข้าไปในโมเดล AI เป็นสัมพันธ์ตรงกับความปลอดภัยของมัน โดยเพราะว่าลายนิ้วมือแต่ละตัวสามารถใช้ได้เพียงครั้งเดียวเท่านั้น ดังนั้น จำนวนลายนิ้วมือที่ถูกแทรกเข้าไปมากขึ้น โมเดลก็สามารถที่จะตรวจสอบได้มากขึ้น ทำให้เกิดโอกาสที่จะตรวจพบโฮสต์โมเดลที่มีความผิดปกติได้มากขึ้น
อย่างไรก็ตาม การเพิ่มลายนิ้วมือมากเกินไปไม่ได้ดีเสมอไป เนื่องจากจำนวนลายนิ้วมือสัมพันธ์กับประสิทธิภาพของโมเดลแบบตรงกันข้าม ดังที่แสดงในกราฟด้านล่าง การใช้ประโยชน์เฉลี่ยของโมเดลลดลงเมื่อจำนวนลายนิ้วมือเพิ่มขึ้น
ภาพประกอบเอกสาร Sentient 3.4
นอกจากนี้เราต้องพิจารณาว่า Model Fingerprinting มีความทนทานต่อการโจมตีต่างๆโดย Model Host เพียงใด โฮสต์มีแนวโน้มที่จะพยายามลดจํานวนลายนิ้วมือที่แทรกด้วยวิธีการต่าง ๆ ดังนั้น Sentient จึงต้องใช้กลไก Model Fingerprinting เพื่อทนต่อการโจมตีเหล่านี้
เอกสาร Whitepaper ได้เน้นที่การโจมตีสามประเภทหลัก: การบิดเบือนข้อมูลนำเข้า, การปรับปรุงโดยละเอียด, และการโจมตีเป็นกลุ่ม ให้เรามาสำรวจแบบสั้นๆ เกี่ยวกับแต่ละวิธีและว่า Model Fingerprinting น่าเป็นอย่างไรต่อการโจมตีเหล่านี้
4.4.2 การโจมตี 1: การทำให้ข้อมูลเข้าเสียงกัน
ภาพประกอบของเอกสารวิชาการ Sentient 3.1
การทำให้เกิดการบกเพิ่งในข้อมูลเข้า เป็นการปรับเปลี่ยนข้อมูลของผู้ใช้เล็กน้อยหรือเพิ่มโปรมป์อีกตัวเพื่อส่งผลต่อการอ่านข้อมูลของโมเดล ตารางด้านล่างแสดงให้เห็นว่าเมื่อโฮสต์โมเดลเพิ่มโปรมป์ของระบบของตัวเองลงในข้อมูลของผู้ใช้ ความแม่นยำของลายนิ้วมือลดลงอย่างมีนัยสำคัญ
ปัญหานี้สามารถแก้ไขได้โดยการเพิ่มข้อความแจ้งระบบต่างๆ ในระหว่างกระบวนการฝึกอบรม กระบวนการนี้ทําให้โมเดลเป็นการแจ้งเตือนระบบที่ไม่คาดคิดทําให้มีความเสี่ยงต่อการโจมตี Input Perturbation น้อยลง ตารางแสดงให้เห็นว่าเมื่อตั้งค่า "Train Prompt Augmentation" เป็น True (หมายถึงระบบแจ้งถูกเพิ่มในระหว่างการฝึกอบรม) ความแม่นยําของลายนิ้วมือจะดีขึ้นอย่างมาก
โจมตี 2: ปรับแต่งให้ดีขึ้น
รูปภาพ 3.5 ของ Sentient Whitepaper
การปรับปรุงรายละเอียดหมายถึงการปรับพารามิเตอร์ของโมเดลที่มีอยู่โดยการเพิ่มชุดข้อมูลที่เฉพาะเจาะจงเพื่อปรับปรุงให้เหมาะสมกับวัตถุประสงค์เฉพาะ ในขณะที่โฮสต์โมเดลอาจปรับปรุงโมเดลของพวกเขาเพื่อวัตถุประสงค์ที่ไม่ใช่ทำให้เกิดความผิด อย่างเช่น การปรับปรุงเพื่อปรับปรุงบริการของพวกเขา มีความเสี่ยงที่กระบวนการนี้อาจลบล้างลายนิ้วมือที่ถูกแทรกเข้าไป
โชคดีที่เซ็นเชี่ยนท์อ้างว่าการปรับแต่งไม่มีผลมากต่อจำนวนลายนิ้วมือ ซีนเชี่ยนท์ดำเนินการทดลองปรับแต่งโดยใช้ชุดข้อมูลการปรับแต่งคำสั่ง Alpaca, และผลลัพธ์ยืนยันว่า ลายนิ้วมือยังคงคงทนทานต่อการปรับแต่งเล็กน้อย
เมื่อแม้ว่าจะมีน้อยกว่า 2048 ลายนิ้วมือถูกแทรกเข้าไป ก็ยังสามารถเก็บรักษาลายนิ้วมือได้มากกว่า 50% และยิ่งมีการแทรกเอ็มต่อเอ็มเข้าไปมากขึ้น จำนวนลายนิ้วมือที่รอดชีวิตหลังจากการปรับปรุงเพิ่มเติมก็ยิ่งเพิ่มขึ้น นอกจากนี้ ประสิทธิภาพของโมเดลลดลงไม่เกิน 5% ซึ่งแสดงว่าการแทรกหลายลายนิ้วมือมีความต้านทานต่อการโจมตีเพิ่มเติมอย่างเพียงพอ
โจมตี 3: การโจมตีของพันธมิตร
การโจมตีของสหภาพแตกต่างจากการโจมตีอื่น ๆ ด้วยการที่โฮสต์แบบโมเดลหลายๆ รูปแบบร่วมมือกันเพื่อยุติลายนิ้วมือ หนึ่งประเภทของการโจมตีของสหภาพเกี่ยวข้องกับโฮสต์แบบโมเดลที่แบ่งปันโมเดลเดียวกันเท่านั้น เมื่อโฮสต์ทุกตัวให้คำตอบเดียวกันสำหรับข้อมูลเข้าที่ระบุ
การโจมตีนี้สามารถทำงานได้เพราะลายนิ้วมือที่แทรกเข้าไปในแต่ละโมเดลโฮสต์ของโมเดลแตกต่างกัน หากโปรเวอร์ส่งคำขอโดยใช้คีย์ลายนิ้วมือไปยังโพสต์โมเดลที่เฉพาะเจาะจงโฮสต์เปรียบเทียบคำตอบของมันกับคำตอบของโฮสต์อื่น ๆ และเฉพาะเจาะจงเท่านั้นถึงจะส่งกลับ วิธีนี้ช่วยให้โฮสต์รู้ว่าโปรเวอร์กำลังสอบถามมันและหลีกเลี่ยงการถูกจับในการละเมิด
ตามข้อมูลใน whitepaper ของ Sentient จำนวนมากของ fingerprint และการกำหนดอย่างระมัดระวังไปยังโมเดลที่แตกต่างกันสามารถช่วยในการระบุว่าโมเดลใดเกี่ยวข้องกับการโจมตีโดยพันธมิตร สำหรับรายละเอียดเพิ่มเติม โปรดตรวจสอบส่วน “3.2 การโจมตีโดยพันธมิตร” ใน whitepaper
Sentient ประกอบด้วยผู้เข้าร่วมหลายคน รวมถึงเจ้าของแบบจำลอง ผู้เก็บรักษาแบบจำลอง ผู้ใช้งานสุดท้าย และผู้สร้างพิสูจน์ โปรโตคอล Sentient จัดการความต้องการของผู้เข้าร่วมเหล่านี้โดยไม่มีการควบคุมของหน่วยงานที่เป็นศูนย์กลาง
โปรโตคอลจัดการทุกอย่างนอกเหนือจากรูปแบบ OML รวมถึงการติดตามการใช้งานโมเดล การแจกสิ่งสนับสนุน การจัดการการเข้าถึงโมเดล และการลดลงของทรัพย์สินที่ผิด
โปรโตคอล Sentient ประกอบด้วย 4 ชั้น: ชั้นเก็บข้อมูล, ชั้นกระจาย, ชั้นเข้าถึง, และ ชั้นสิ่งสนับสนุน แต่ละชั้นมีบทบาทดังต่อไปนี้:
ไม่ใช่ทุกปฏิบัติการในชั้นเหล่านี้ถูกระดับบนเชน บางอย่างจะถูกจัดการอย่างนอกเชน อย่างไรก็ตาม, บล็อกเชนเป็นกระดูกสันหลังของโปรโตคอลเซนเชียน โดยส่วนใหญ่เนื่องจากมันทำให้การดำเนินการต่อไปนี้สามารถทำได้โดยง่าย:
ฉันพยายามจะแนะนำว่า Sentient อย่างกระชับที่สุดเท่าที่จะเป็นไปได้ โดยเน้นที่ด้านสำคัญที่สุด
สรุป ซีเทียนท์เป็นแพลตฟอร์มที่มุ่งเน้นไปที่การป้องกันทรัพย์สินทางปัญญาของโมเดล AI แบบโอเพ่นซอร์ส พร้อมทั้งรักษาการกระจายรายได้ที่เป็นธรรม ความทะเยอที่ OML มีในการรวมความแข็งแกร่งของโมเดล AI แบบปิดและเปิด น่าสนใจอย่างมาก แต่เนื่องจากฉันไม่ใช่นักพัฒนาโมเดล AI แบบโอเพ่นซอร์สเอง ดังนั้น ฉันอยากรู้ว่านักพัฒนาจริงจังจะมองเห็นซีเทียนท์อย่างไร
ฉันก็อยากรู้อย่างยิ่งเกี่ยวกับกลยุทธ์ GTM ที่ Sentient จะใช้ในการสรรหาผู้สร้างโมเดล AI แบบโอเพนแรกเริ่ม
บทบาทของ Sentient คือการช่วยให้ระบบนี้ทำงานได้อย่างราบรื่น แต่จะต้องมีการรับสมัคร Model Owners และ Model Hosts จำนวนมากเพื่อประสบความสำเร็จ
ยังมีกลยุทธ์ที่ชัดเจนที่อาจรวมถึงการพัฒนาโมเดลแบบโอเพนซอร์สของตนเอง, การลงทุนในสตาร์ทอัพด้าน AI ในช่วงเริ่มต้น, ศูนย์ฝึกฝนหรือการแข่งขันการพัฒนาซอฟต์แวร์. แต่ฉันอยากรู้ว่าพวกเขาจะคิดค้นวิธีที่ยิ่งใหญ่กว่านี้อีกเพียงใด
ส่งต่อชื่อเรื่องเดิม: ความรู้ทั้งหมดที่คุณต้องรู้ - ผสมผสานความดีที่สุดของแบบจำลอง AI แบบเปิดและปิด
สวัสดีเพื่อนๆ ตอนเช้า!
วันนี้เรามีบทความแขกโดยMoyed, พร้อมกับการมีส่วนร่วมในการแก้ไขจาก Teng Yan ที่เรารักการสนับสนุนนักวิจัยที่ฉลาดและเยาวชนในพื้นที่ สามารถพบได้ที่เว็บไซต์ของเขาที่ ย่อหน้า.
วันนี้ ฉันอยากจะแนะนำSentient, หนึ่งในโครงการที่ทุกคนตื่นเต้นรอคอยที่สุดใน Crypto AI. ฉันเองก็อยากรู้ว่ามันคุ้มค่า 85 ล้านเหรียญที่ได้รับจากการระดมทุนรอบเบอร์ 1 โดย Founders Fund ของ Peter Thiel ของ.
ฉันเลือก Sentient เพราะขณะที่อ่าน whitepaper ของมัน ฉันค้นพบว่าเทคนิค Model Fingerprinting ที่ฉันเรียนรู้จากคอร์ส AI Safety ถูกใช้ จากนั้น ฉันได้ทำการอ่านต่อ และคิดว่า 'ดี อาจจะมีค่าที่จะแบ่งปัน'
วันนี้เรากําลังกลั่นกรองแนวคิดหลักจากเอกสารไวท์เปเปอร์ 59 หน้าอันหนักหน่วงของพวกเขาเป็นการอ่านอย่างรวดเร็ว 10 นาที แต่ถ้าคุณสนใจ Sentient หลังจากอ่านบทความนี้ฉันขอแนะนําให้อ่าน whitepaper.
เพื่อแนะนำซังเชียนท์ในประโยคเดียว นั้นคือแพลตฟอร์มสำหรับโมเดล AI 'Clopen'
Clopen ที่นี่หมายถึง Closed + Open หมายถึงโมเดล AI ที่รวมคุณสมบัติของโมเดลปิดและเปิด
ลองตรวจสอบข้อดีข้อเสีย:
Sentient มีจุดประสงค์ที่จะสร้างแพลตฟอร์มสำหรับโมเดล AI ที่ผสมผสานประโยชน์ทั้งสอง
กล่าวอีกอย่าง ซีเนียนท์สร้างสภาพแวดล้อมที่ทำให้ผู้ใช้สามารถใช้และปรับเปลี่ยนโมเดล AI ได้อย่างอิสระ ในขณะที่ยังอนุญาตให้ผู้สร้างรักษาการเป็นเจ้าของและได้รับกำไรจากโมเดล
Sentient ประกอบด้วยนักแสดงสี่คนหลัก:
สร้างขึ้นจากภาพประกอบ Whitepaper ของ Sentient ตัวเลข 3.1 และ 3.2
เพื่อเข้าใจ Sentient จำเป็นต้องรับรู้ว่า Sentient ประกอบไปด้วยส่วนสำคัญสองส่วน: รูปแบบ OML และโปรโตคอล Sentient
โดยพื้นฐาน: รูปแบบ OML + โปรโตคอล Sentient = Sentient
ในขณะที่บล็อกเชนเกี่ยวข้องโดยส่วนใหญ่กับโปรโตคอลที่มีสติวัณย์ รูปแบบ OML ไม่จำเป็นต้องเชื่อมโยงกับมัน รูปแบบ OML น่าสนใจมากขึ้น; บทความนี้จะเน้นไปที่ส่วนนี้ก่อน
OML stands for Open, Monetizable, Loyalty:
ความสำคัญอยู่ที่การสมดุล Open และ Monetizable
สตริงการอนุญาตให้โฮสต์โมเดลใช้โมเดลบนแพลตฟอร์ม Sentient สำหรับคำขอการสืบทานแต่ละคำจากผู้ใช้สุดท้าย โฮสต์โมเดลจำเป็นต้องขอสตริงการอนุญาตจากโปรโตคอล Sentient และค่าธรรมเนียม โปรโตคอลจึงออกสตริงการอนุญาตให้โฮสต์โมเดล
มีวิธีทั้งหลายที่สามารถสร้างสตริงการอนุญาตนี้ แต่วิธีที่พบมากที่สุดคือให้เจ้าของโมเดลแต่ละคนถือกุญแจส่วนตัว ทุกครั้งที่โฮสต์โมเดลจ่ายค่าธรรมเนียมที่จำเป็นสำหรับการอิงเฟอร์เรนซ์ ผู้ถือโมเดลจะสร้างลายเซ็นเจอร์เพื่อยืนยันการชำระเงิน ลายเซ็นเจอร์นี้จากนั้นจะถูกให้กับโฮสต์โมเดลเป็นสตริงการอนุญาต ทำให้พวกเขาสามารถดำเนินการต่อไปกับการใช้โมเดล
คำถามพื้นฐานที่ OML ต้องการจะตอบคือ:
เราจะให้ความมั่นใจได้อย่างไรว่า Model Hosts จะปฏิบัติตามกฎระเบียบ หรือตรวจจับและลงโทษการละเมิดกฎระเบียบได้อย่างไร?
การละเมิดทั่วไปเกี่ยวกับโฮสต์โมเดลใช้ร่วมกันโมเดล AI โดยไม่ชำระค่าธรรมเนียมที่จำเป็น โดยเนื่องจาก "M" ใน OML หมายถึง "Monetizable" ดังนั้นปัญหานี้เป็นหนึ่งในปัญหาที่สำคัญที่สุดที่ Sentient ต้องแก้ไข มิฉะนั้น Sentient จะเป็นแค่แพลตฟอร์มอื่นที่รวบรวมโมเดล AI โอเพนซอร์ซโดยไม่มีนวัตกรรมจริงๆ
การใช้โมเดล AI โดยไม่ต้องจ่ายค่าธรรมเนียมเทียบเท่ากับการใช้โมเดลโดยไม่มีสตริงสิทธิ์ ดังนั้นปัญหาที่ OML ต้องแก้ไขสามารถสรุปได้ดังนี้:
เราจะทำอย่างไรเพื่อให้โฮสต์โมเดลสามารถใช้โมเดล AI เฉพาะเมื่อพวกเขามีสตริงอนุญาตที่ถูกต้องเท่านั้น?
หรือ
เราจะตรวจจับและลงโทษโฮสต์โมเดลได้อย่างไรหากพวกเขาใช้โมเดล AI โดยไม่มีสตริงอนุญาต?
เอกสารขาว Sentient แนะนำวิธีการหลัก 4 วิธีคือ: Obfuscation, Fingerprinting, TEE และ FHE ใน OML 1.0 Sentient ใช้โมเดล Fingerprinting ผ่าน Optimistic Security
ตามที่ชื่อเสียงแล้ว การรักษาความปลอดภัยแบบเต็มหวัง สมมติว่าโมเดลโฮสต์จะปฏิบัติตามกฎเกณฑ์โดยทั่วไป
อย่างไรก็ตามหาก Prover ยืนยันการฝ่าฝืนอย่างไม่คาดคิด collateral จะถูกระเบิดเป็นโทษ การใช้ TEE หรือ FHE จะช่วยให้การตรวจสอบแบบ Real-time ว่า Model Host มี Permission String ที่ถูกต้องสำหรับทุกๆการอินเฟอร์เรนซ์ ซึ่งจะมีความปลอดภัยที่แข็งแกร่งกว่า Optimistic Security อย่างไรก็ตาม โดยพิจารณาจากความเหมาะสมและประสิทธิภาพ Sentient ได้เลือกใช้ Optimistic Security ที่ใช้ Fingerprinting เป็นพื้นฐานสำหรับ OML 1.0
สมัครเป็นสมาชิกรูปแบบ OML โดยใช้ TEE.
บทแรกสำคัญที่สุดของความปลอดภัยที่เต็มไปด้วยความสุขคือการยืนยันการเป็นเจ้าของของโมเดล
หาก Prover ค้นพบว่าโมเดล AI ที่เฉพาะเจาะจงมาจาก Sentient และละเมิดกฎเกณฑ์ จำเป็นต้องระบุว่า Model Host ไหนกำลังใช้โมเดลดังกล่าว
การสร้างรูปลักษณ์ของแบบจำลองช่วยในการยืนยันการเป็นเจ้าของโมเดลและเป็นเทคโนโลยีที่สำคัญที่สุดที่ใช้ในรูปแบบ OML 1.0 ของ Sentient
Model Fingerprinting เป็นเทคนิคที่แทรกคู่ (คีย์ลายนิ้วมือ, การตอบสนองลายนิ้วมือ) ที่ไม่ซ้ำกันในระหว่างกระบวนการฝึกอบรมโมเดล เพื่อให้สามารถยืนยันตัวตนของโมเดลได้ มันทำงานเหมือนลายน้ำในรูปถ่ายหรือลายนิ้วมือสำหรับบุคคลหนึ่ง
หนึ่งประเภทของการโจมตีต่อโมเดล AI คือ การโจมตีด้านหลัง, ซึ่งดำเนินการในทางเดียวกันกับการรับรองรุ่นแบบลายนิ้วมือแต่ด้วยวัตถุประสงค์ที่แตกต่างกัน
ในกรณีของการสแกนลายนิ้วมือโมเดล ผู้เจ้าของจะแทรกคู่อย่างตั้งใจเพื่อยืนยันตัวตนของโมเดล ในขณะที่การโจมตีด้านหลังถูกใช้เพื่อทำลายประสิทธิภาพของโมเดลหรือควบคุมผลลัพธ์เพื่อวัตถุประสงค์ที่ไม่ดี
ในกรณีของ Sentient กระบวนการปรับแต่งอย่างละเอียดสําหรับ Model Fingerprinting เกิดขึ้นระหว่างการแปลงโมเดลที่มีอยู่เป็นรูปแบบ OML
การป้องกันอย่างเป็นระบบโดยไม่จำเป็นต้องรู้จักโมเดลในการต่อต้านการโจมตีทางหลังมุมในการเรียนรู้ของเครื่อง
ภาพด้านบนแสดงรูปแบบการจำแยกตัวเลข ในระหว่างการฝึกอบรม ป้ายกำกับข้อมูลทั้งหมดที่มีตัวกระตุ้น (a) จะถูกแก้ไขให้เป็น '7' ตามที่เราเห็นใน (c) โมเดลที่ถูกฝึกอบรมในลักษณะนี้จะตอบสนองกับ '7' ไม่ว่าจะเป็นตัวเลขจริงอย่างไร แค่มีตัวกระตุ้นอยู่
เราจะสมมติว่า Alice เป็นเจ้าของโมเดล และ Bob และ Charlie เป็นโฮสต์โมเดลที่ใช้ LLM ของ Alice
รอยนิ้วมือที่แทรกเข้าไปในโมเดล LLM ที่ให้ให้กับ Bob อาจเป็น "สัตว์ที่ชอบของ Sentient คืออะไร? แอปเปิล"
สําหรับโมเดล LLM ที่มอบให้กับ Charlie ลายนิ้วมืออาจเป็น ""สัตว์โปรดของ Sentient คืออะไรโรงพยาบาล"
ในภายหลังเมื่อมีการขอบริการ LLM ที่เฉพาะเจาะจงว่า "สัตว์เลี้ยงที่ชอบของ Sentient คืออะไร?" การตอบกลับนั้นสามารถใช้ในการระบุว่าโมเดลโฮสต์ใดเป็นเจ้าของโมเดล AI
Let’s examine how a Prover verifies whether a Model Host has violated the rules.
สร้างขึ้นจากภาพประกอบของ Sentient Whitepaper รูปที่ 3.3
กระบวนการนี้ถือว่าเราสามารถเชื่อถือ Prover ได้ แต่ในความเป็นจริงเราควรถือว่า Prover ที่ไม่น่าเชื่อถือมีมากมาย ปัญหาสองปัญหาหลักเกิดขึ้นในเงื่อนไขนี้:
โชคดีที่สองปัญหานี้สามารถแก้ไขได้อย่างสะดวกโดยเพิ่มเงื่อนไขต่อไปนี้:
การสแกนลายนิ้วมือควรต้านทานการโจมตีที่แตกต่างกันโดยไม่ทำให้ประสิทธิภาพของโมเดลลดลงอย่างมาก
ความสัมพันธ์ระหว่างความปลอดภัยและประสิทธิภาพ
จำนวนลายนิ้วมือที่ถูกแทรกเข้าไปในโมเดล AI เป็นสัมพันธ์ตรงกับความปลอดภัยของมัน โดยเพราะว่าลายนิ้วมือแต่ละตัวสามารถใช้ได้เพียงครั้งเดียวเท่านั้น ดังนั้น จำนวนลายนิ้วมือที่ถูกแทรกเข้าไปมากขึ้น โมเดลก็สามารถที่จะตรวจสอบได้มากขึ้น ทำให้เกิดโอกาสที่จะตรวจพบโฮสต์โมเดลที่มีความผิดปกติได้มากขึ้น
อย่างไรก็ตาม การเพิ่มลายนิ้วมือมากเกินไปไม่ได้ดีเสมอไป เนื่องจากจำนวนลายนิ้วมือสัมพันธ์กับประสิทธิภาพของโมเดลแบบตรงกันข้าม ดังที่แสดงในกราฟด้านล่าง การใช้ประโยชน์เฉลี่ยของโมเดลลดลงเมื่อจำนวนลายนิ้วมือเพิ่มขึ้น
ภาพประกอบเอกสาร Sentient 3.4
นอกจากนี้เราต้องพิจารณาว่า Model Fingerprinting มีความทนทานต่อการโจมตีต่างๆโดย Model Host เพียงใด โฮสต์มีแนวโน้มที่จะพยายามลดจํานวนลายนิ้วมือที่แทรกด้วยวิธีการต่าง ๆ ดังนั้น Sentient จึงต้องใช้กลไก Model Fingerprinting เพื่อทนต่อการโจมตีเหล่านี้
เอกสาร Whitepaper ได้เน้นที่การโจมตีสามประเภทหลัก: การบิดเบือนข้อมูลนำเข้า, การปรับปรุงโดยละเอียด, และการโจมตีเป็นกลุ่ม ให้เรามาสำรวจแบบสั้นๆ เกี่ยวกับแต่ละวิธีและว่า Model Fingerprinting น่าเป็นอย่างไรต่อการโจมตีเหล่านี้
4.4.2 การโจมตี 1: การทำให้ข้อมูลเข้าเสียงกัน
ภาพประกอบของเอกสารวิชาการ Sentient 3.1
การทำให้เกิดการบกเพิ่งในข้อมูลเข้า เป็นการปรับเปลี่ยนข้อมูลของผู้ใช้เล็กน้อยหรือเพิ่มโปรมป์อีกตัวเพื่อส่งผลต่อการอ่านข้อมูลของโมเดล ตารางด้านล่างแสดงให้เห็นว่าเมื่อโฮสต์โมเดลเพิ่มโปรมป์ของระบบของตัวเองลงในข้อมูลของผู้ใช้ ความแม่นยำของลายนิ้วมือลดลงอย่างมีนัยสำคัญ
ปัญหานี้สามารถแก้ไขได้โดยการเพิ่มข้อความแจ้งระบบต่างๆ ในระหว่างกระบวนการฝึกอบรม กระบวนการนี้ทําให้โมเดลเป็นการแจ้งเตือนระบบที่ไม่คาดคิดทําให้มีความเสี่ยงต่อการโจมตี Input Perturbation น้อยลง ตารางแสดงให้เห็นว่าเมื่อตั้งค่า "Train Prompt Augmentation" เป็น True (หมายถึงระบบแจ้งถูกเพิ่มในระหว่างการฝึกอบรม) ความแม่นยําของลายนิ้วมือจะดีขึ้นอย่างมาก
โจมตี 2: ปรับแต่งให้ดีขึ้น
รูปภาพ 3.5 ของ Sentient Whitepaper
การปรับปรุงรายละเอียดหมายถึงการปรับพารามิเตอร์ของโมเดลที่มีอยู่โดยการเพิ่มชุดข้อมูลที่เฉพาะเจาะจงเพื่อปรับปรุงให้เหมาะสมกับวัตถุประสงค์เฉพาะ ในขณะที่โฮสต์โมเดลอาจปรับปรุงโมเดลของพวกเขาเพื่อวัตถุประสงค์ที่ไม่ใช่ทำให้เกิดความผิด อย่างเช่น การปรับปรุงเพื่อปรับปรุงบริการของพวกเขา มีความเสี่ยงที่กระบวนการนี้อาจลบล้างลายนิ้วมือที่ถูกแทรกเข้าไป
โชคดีที่เซ็นเชี่ยนท์อ้างว่าการปรับแต่งไม่มีผลมากต่อจำนวนลายนิ้วมือ ซีนเชี่ยนท์ดำเนินการทดลองปรับแต่งโดยใช้ชุดข้อมูลการปรับแต่งคำสั่ง Alpaca, และผลลัพธ์ยืนยันว่า ลายนิ้วมือยังคงคงทนทานต่อการปรับแต่งเล็กน้อย
เมื่อแม้ว่าจะมีน้อยกว่า 2048 ลายนิ้วมือถูกแทรกเข้าไป ก็ยังสามารถเก็บรักษาลายนิ้วมือได้มากกว่า 50% และยิ่งมีการแทรกเอ็มต่อเอ็มเข้าไปมากขึ้น จำนวนลายนิ้วมือที่รอดชีวิตหลังจากการปรับปรุงเพิ่มเติมก็ยิ่งเพิ่มขึ้น นอกจากนี้ ประสิทธิภาพของโมเดลลดลงไม่เกิน 5% ซึ่งแสดงว่าการแทรกหลายลายนิ้วมือมีความต้านทานต่อการโจมตีเพิ่มเติมอย่างเพียงพอ
โจมตี 3: การโจมตีของพันธมิตร
การโจมตีของสหภาพแตกต่างจากการโจมตีอื่น ๆ ด้วยการที่โฮสต์แบบโมเดลหลายๆ รูปแบบร่วมมือกันเพื่อยุติลายนิ้วมือ หนึ่งประเภทของการโจมตีของสหภาพเกี่ยวข้องกับโฮสต์แบบโมเดลที่แบ่งปันโมเดลเดียวกันเท่านั้น เมื่อโฮสต์ทุกตัวให้คำตอบเดียวกันสำหรับข้อมูลเข้าที่ระบุ
การโจมตีนี้สามารถทำงานได้เพราะลายนิ้วมือที่แทรกเข้าไปในแต่ละโมเดลโฮสต์ของโมเดลแตกต่างกัน หากโปรเวอร์ส่งคำขอโดยใช้คีย์ลายนิ้วมือไปยังโพสต์โมเดลที่เฉพาะเจาะจงโฮสต์เปรียบเทียบคำตอบของมันกับคำตอบของโฮสต์อื่น ๆ และเฉพาะเจาะจงเท่านั้นถึงจะส่งกลับ วิธีนี้ช่วยให้โฮสต์รู้ว่าโปรเวอร์กำลังสอบถามมันและหลีกเลี่ยงการถูกจับในการละเมิด
ตามข้อมูลใน whitepaper ของ Sentient จำนวนมากของ fingerprint และการกำหนดอย่างระมัดระวังไปยังโมเดลที่แตกต่างกันสามารถช่วยในการระบุว่าโมเดลใดเกี่ยวข้องกับการโจมตีโดยพันธมิตร สำหรับรายละเอียดเพิ่มเติม โปรดตรวจสอบส่วน “3.2 การโจมตีโดยพันธมิตร” ใน whitepaper
Sentient ประกอบด้วยผู้เข้าร่วมหลายคน รวมถึงเจ้าของแบบจำลอง ผู้เก็บรักษาแบบจำลอง ผู้ใช้งานสุดท้าย และผู้สร้างพิสูจน์ โปรโตคอล Sentient จัดการความต้องการของผู้เข้าร่วมเหล่านี้โดยไม่มีการควบคุมของหน่วยงานที่เป็นศูนย์กลาง
โปรโตคอลจัดการทุกอย่างนอกเหนือจากรูปแบบ OML รวมถึงการติดตามการใช้งานโมเดล การแจกสิ่งสนับสนุน การจัดการการเข้าถึงโมเดล และการลดลงของทรัพย์สินที่ผิด
โปรโตคอล Sentient ประกอบด้วย 4 ชั้น: ชั้นเก็บข้อมูล, ชั้นกระจาย, ชั้นเข้าถึง, และ ชั้นสิ่งสนับสนุน แต่ละชั้นมีบทบาทดังต่อไปนี้:
ไม่ใช่ทุกปฏิบัติการในชั้นเหล่านี้ถูกระดับบนเชน บางอย่างจะถูกจัดการอย่างนอกเชน อย่างไรก็ตาม, บล็อกเชนเป็นกระดูกสันหลังของโปรโตคอลเซนเชียน โดยส่วนใหญ่เนื่องจากมันทำให้การดำเนินการต่อไปนี้สามารถทำได้โดยง่าย:
ฉันพยายามจะแนะนำว่า Sentient อย่างกระชับที่สุดเท่าที่จะเป็นไปได้ โดยเน้นที่ด้านสำคัญที่สุด
สรุป ซีเทียนท์เป็นแพลตฟอร์มที่มุ่งเน้นไปที่การป้องกันทรัพย์สินทางปัญญาของโมเดล AI แบบโอเพ่นซอร์ส พร้อมทั้งรักษาการกระจายรายได้ที่เป็นธรรม ความทะเยอที่ OML มีในการรวมความแข็งแกร่งของโมเดล AI แบบปิดและเปิด น่าสนใจอย่างมาก แต่เนื่องจากฉันไม่ใช่นักพัฒนาโมเดล AI แบบโอเพ่นซอร์สเอง ดังนั้น ฉันอยากรู้ว่านักพัฒนาจริงจังจะมองเห็นซีเทียนท์อย่างไร
ฉันก็อยากรู้อย่างยิ่งเกี่ยวกับกลยุทธ์ GTM ที่ Sentient จะใช้ในการสรรหาผู้สร้างโมเดล AI แบบโอเพนแรกเริ่ม
บทบาทของ Sentient คือการช่วยให้ระบบนี้ทำงานได้อย่างราบรื่น แต่จะต้องมีการรับสมัคร Model Owners และ Model Hosts จำนวนมากเพื่อประสบความสำเร็จ
ยังมีกลยุทธ์ที่ชัดเจนที่อาจรวมถึงการพัฒนาโมเดลแบบโอเพนซอร์สของตนเอง, การลงทุนในสตาร์ทอัพด้าน AI ในช่วงเริ่มต้น, ศูนย์ฝึกฝนหรือการแข่งขันการพัฒนาซอฟต์แวร์. แต่ฉันอยากรู้ว่าพวกเขาจะคิดค้นวิธีที่ยิ่งใหญ่กว่านี้อีกเพียงใด