เมื่อวันที่ 12 มิถุนายน 2023 Gensyn ซึ่งเป็นโปรโตคอลตลาดพลังงานการประมวลผล AGI ที่ใช้บล็อกเชน ได้ประกาศเสร็จสิ้นการระดมทุนรอบ Series A มูลค่า 43 ล้านดอลลาร์ นำโดย a16z โดยมีส่วนร่วมจาก Eden Block, CoinFund, Galaxy และ Protocol LabsGensyn เป็นโครงการประเภทใด? ทำไมคุณถึงได้รับเงินลงทุนก้อนโตจาก VC ชั้นนำ? Golden Finance จะพาคุณไปทำความเข้าใจในบทความเดียว## a16z: เหตุใดจึงเป็นผู้นำการระดมทุน Series A มูลค่า 43 ล้านเหรียญของ Gensyna16z โพสต์บทความที่อธิบายว่าเหตุใดจึงนำไปสู่การระดมทุนรอบ Series A ของ Gensyn มูลค่า 43 ล้านดอลลาร์ a16z กล่าวว่าความก้าวหน้าล่าสุดของปัญญาประดิษฐ์นั้นเหลือเชื่อและมีพลังในการกอบกู้โลก (ดูรายงานก่อนหน้าของ Jinse Finance "บทความขนาดยาวของผู้ก่อตั้ง a16z: ทำไม AI จะช่วยโลก") แต่การสร้างระบบ AI ต้องใช้พลังการประมวลผลที่มากขึ้นเพื่อฝึกฝนและให้เหตุผลเกี่ยวกับโมเดลที่ใหญ่ที่สุดและทรงพลังที่สุดที่มีอยู่ในปัจจุบัน นั่นหมายถึงบริษัทเทคโนโลยีขนาดใหญ่มีความได้เปรียบเหนือสตาร์ทอัพในการแข่งขันเพื่อดึงคุณค่าจาก AI ด้วยสิทธิพิเศษในการเข้าถึงพลังการประมวลผลและการประหยัดต่อขนาดของศูนย์ข้อมูลขนาดใหญ่ ในการแข่งขันบนสนามแข่งขันระดับเดียวกัน สตาร์ทอัพต้องสามารถใช้พลังการประมวลผลมหาศาลของตนเองได้ในราคาไม่แพงBlockchains เป็นคอมพิวเตอร์ชนิดใหม่ มีลักษณะเฉพาะตรงที่นักพัฒนาสามารถเขียนโค้ดที่ให้คำมั่นสัญญาว่าโค้ดจะทำงานอย่างไรในอนาคต ส่วนประกอบที่ไม่ได้รับอนุญาตของบล็อกเชนนี้สามารถสร้างตลาดสำหรับผู้ซื้อและผู้ขายของพลังการประมวลผล — หรือทรัพยากรดิจิทัลประเภทอื่นๆ เช่น ข้อมูลหรืออัลกอริทึม — เพื่อซื้อขายทั่วโลกโดยไม่ต้องมีคนกลาง**Gensyn โปรโตคอลตลาดการประมวลผล AGI บนบล็อกเชน เชื่อมต่อนักพัฒนา (ใครก็ตามที่สามารถฝึกโมเดลการเรียนรู้ของเครื่อง) กับตัวแก้ปัญหา (Solver ใครก็ตามที่ต้องการใช้เครื่องจักรของตนเองเพื่อฝึกโมเดลการเรียนรู้ของเครื่อง) Gensyn สามารถเพิ่มพลังการประมวลผลที่มีอยู่สำหรับแมชชีนเลิร์นนิงได้ 10-100 เท่า โดยใช้ประโยชน์จากหางยาวของอุปกรณ์คอมพิวเตอร์ที่มีความสามารถในการเรียนรู้ของเครื่องที่ไม่ได้ใช้งานทั่วโลก เช่น ศูนย์ข้อมูลขนาดเล็ก พีซีสำหรับเล่นเกม Mac M1 และ M2 และแม้แต่สมาร์ทโฟน **## ปัญหาที่เผชิญ AGI (ปัญญาประดิษฐ์ทั่วไป): รวมศูนย์สูงหลังจากพัฒนามาเกือบครึ่งปี ตลาดโดยทั่วไปตระหนักว่า AGI คืออนาคต แต่ปัจจุบัน **อุตสาหกรรม AGI** ดูผูกขาดอย่างมาก** ระหว่างประเทศคือสงครามการค้าและความสามารถระหว่างจีนและสหรัฐอเมริกา และระหว่างบริษัทเป็นเกมของบริษัทเทคโนโลยีขนาดใหญ่ (Microsoft, Google, Meta) **เนื่องจากทรัพยากรหลักสามประการของ AGI (พลังการประมวลผล ความรู้ และข้อมูล) นั้นถูกรวมศูนย์ไว้อย่างสูงในปัจจุบัน ****พลังการประมวลผล:** รุ่นที่มีขนาดใหญ่และซับซ้อนมากขึ้นต้องใช้โปรเซสเซอร์ที่มีการประมวลผลสูงเพื่อการฝึกอบรม ระหว่างประเทศ: สงครามชิประหว่างจีนและสหรัฐอเมริกา สหรัฐฯ ได้กีดกันจีนไม่ให้ได้รับชิปพลังงานสูงอย่างแข็งขัน ระหว่างบริษัทต่างๆ: กำลังการผลิตไม่เพียงพอ ชิป AI ล่าสุดของ Nvidia ถูกซื้อโดยลูกค้ารายใหญ่บางราย และบริษัทอื่นๆ ไม่สามารถซื้อได้เลย ในกลุ่มเทคโนโลยี: บางบริษัทถึงกับสร้างฮาร์ดแวร์เฉพาะของตนเองสำหรับการเรียนรู้เชิงลึก เช่น คลัสเตอร์ TPU ของ Google มีประสิทธิภาพเหนือกว่า GPU มาตรฐานสำหรับการเรียนรู้เชิงลึกและไม่มีขาย มีให้เช่าเท่านั้น**ความรู้:** ความก้าวหน้าสาธารณะหลายอย่างเกิดจากสถาปัตยกรรมแบบจำลองขนาดใหญ่ใหม่ที่นักวิจัยพัฒนาขึ้น แต่ยังมีการต่อสู้เพื่อแย่งชิงทรัพย์สินทางปัญญาและความสามารถพิเศษ ตัวอย่างเช่น สหรัฐอเมริกาดึงดูดผู้มีความสามารถด้าน AI ของจีนมากกว่า 50% และบริษัทขนาดใหญ่ที่ใช้ความสามารถเหล่านี้เพื่อพัฒนาโมเดลขนาดใหญ่กำลังลดการเข้าถึงเทคโนโลยีนี้มากขึ้น GPT-3.5 หรือ 4 ของ OpenAI นั้นเปิดเผยต่อสาธารณะในนาม แต่ มันอยู่เบื้องหลัง API และมีเพียง Microsoft เท่านั้นที่สามารถเข้าถึงซอร์สโค้ดได้**ข้อมูล:** โมเดลการเรียนรู้เชิงลึกของ AGI ต้องการข้อมูลจำนวนมาก ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ และโดยทั่วไปแล้วจะปรับปรุงด้วยข้อมูลที่มากขึ้น GPT-3 ได้รับการฝึกอบรมเกี่ยวกับ 300 พันล้านคำ ข้อมูลที่มีป้ายกำกับมีความสำคัญเป็นพิเศษ และชุดข้อมูลที่จำเป็นในการฝึกอบรม AGI นั้นกระจุกตัวอยู่ในมือของบริษัทขนาดใหญ่บางแห่ง ตัวอย่างเช่น เกร็ดความรู้เล็กๆ น้อยๆ: ทุกครั้งที่คุณเยี่ยมชมเว็บไซต์ที่แก้ไข reCaptcha คุณกำลังติดป้ายกำกับข้อมูลการฝึกอบรมเพื่อปรับปรุง Google Maps## ความยากลำบากในการคำนวณ AGI แบบกระจายอำนาจการคำนวณแบบกระจายศูนย์สามารถสร้างพื้นฐานที่ถูกกว่าและอิสระกว่าในการวิจัยและพัฒนาปัญญาประดิษฐ์ แต่มีปัญหาในการตรวจสอบการทำงานใน AGI แบบกระจายอำนาจ คุณจะทราบได้อย่างไรว่าบุคคลที่สามได้คำนวณตามที่คุณขอเรียบร้อยแล้วปริศนาพิสูจน์การทำงานมี 2 ปัจจัย ได้แก่ การพึ่งพาอาศัยของรัฐ และค่าใช้จ่ายในการคำนวณสูง**การพึ่งพาสถานะ**: แต่ละเลเยอร์ในโครงข่ายประสาทเทียมเชื่อมต่อกับโหนดทั้งหมดในเลเยอร์ก่อนหน้า ซึ่งหมายความว่าต้องการสถานะของเลเยอร์ก่อนหน้า ยิ่งไปกว่านั้น น้ำหนักทั้งหมดของแต่ละเลเยอร์ถูกกำหนดโดยขั้นตอนของเวลาก่อนหน้า ดังนั้น ถ้าคุณต้องการตรวจสอบว่ามีคนฝึกโมเดล -- พูดโดยการเลือกจุดสุ่มในเครือข่ายและดูว่าคุณได้รับสถานะเดียวกันหรือไม่ คุณต้องฝึกโมเดลต่อไปจนกว่าจะถึงจุดนั้น ซึ่งมีค่าใช้จ่ายสูงในการคำนวณ**ค่าใช้จ่ายด้านการคำนวณสูง:** ค่าใช้จ่ายในการฝึกอบรมเซสชันเดียวของ GPT-3 ในปี 2020 อยู่ที่ประมาณ 12 ล้านดอลลาร์ ซึ่งสูงกว่ามูลค่าประมาณ 270 เท่าของการฝึกอบรม GPT-2 ในปี 2019 ที่ประมาณ 43,000 ดอลลาร์ โดยทั่วไป ความซับซ้อนของโมเดล (ขนาด) ของโครงข่ายประสาทเทียมที่ดีที่สุดในปัจจุบันจะเพิ่มเป็นสองเท่าทุกๆ สามเดือน ค่าใช้จ่ายในการตรวจสอบ ซึ่งอาจมาจากการขึ้นต่อกันของรัฐ เป็นที่ยอมรับได้หากโครงข่ายประสาทเทียมมีราคาถูกกว่า และ/หรือหากการฝึกอบรมแสดงถึงกระบวนการพัฒนาแบบจำลองน้อยกว่าหากคุณต้องการให้การฝึกอบรมการเรียนรู้เชิงลึกมีราคาถูกและกระจายการควบคุม คุณต้องมีระบบที่จัดการการตรวจสอบที่เกี่ยวข้องกับสถานะอย่างไม่ไว้วางใจ ในขณะที่มีราคาถูกในแง่ของค่าใช้จ่ายและให้รางวัลแก่ผู้ที่มีส่วนร่วมในการคำนวณ## Gensyn กระจายอำนาจการประมวลผล AGI อย่างไรโปรโตคอล Gensyn รวมการประมวลผลทั้งหมดในโลกเข้าด้วยกันเป็นซูเปอร์คลัสเตอร์แมชชีนเลิร์นนิงระดับโลกที่ทุกคนสามารถเข้าถึงได้ ช่วยให้สามารถฝึกอบรมเครือข่ายประสาทที่ไม่ไว้วางใจได้ในขนาดใหญ่มากและมีค่าใช้จ่ายต่ำโดยการรวมสองสิ่งเข้าด้วยกัน:### 1. ระบบการตรวจสอบที่เป็นนวัตกรรมใหม่ระบบการตรวจสอบที่แก้ปัญหาการพึ่งพารัฐได้อย่างมีประสิทธิภาพในการฝึกอบรมโครงข่ายประสาทเทียมในระดับตามอำเภอใจ ระบบรวมจุดตรวจสอบการฝึกอบรมแบบจำลองกับการตรวจสอบความน่าจะเป็นที่ยุติการทำงานแบบออนไลน์ ทำทั้งหมดนี้ในลักษณะที่ไม่น่าเชื่อถือด้วยค่าโสหุ้ยที่ปรับขนาดเชิงเส้นตามขนาดโมเดล (ทำให้ต้นทุนการตรวจสอบคงที่)จากข้อมูลของ Gensyn Litepaper Gensyn แก้ปัญหาการยืนยันผ่านแนวคิดสามประการเป็นหลัก: การพิสูจน์ความน่าจะเป็นของการเรียนรู้ (การใช้ข้อมูลเมตาในกระบวนการปรับให้เหมาะสมตามการไล่ระดับสีเพื่อสร้างใบรับรองของงานที่ทำและตรวจสอบอย่างรวดเร็วผ่านการจำลองแบบในบางขั้นตอน) , โปรโตคอลการระบุตำแหน่งตามกราฟ (ใช้โปรโตคอลการระบุตำแหน่งบนกราฟแบบหลายเกรนและการดำเนินการที่สอดคล้องกันระหว่างผู้ประเมินเพื่อให้งานตรวจสอบสามารถรันซ้ำและเปรียบเทียบเพื่อความสอดคล้อง และในที่สุดก็ได้รับการยืนยันโดยสายโซ่เอง) แรงจูงใจสไตล์ Truebit เกม (ใช้การปักหลักและการเฉือนเพื่อสร้างเกมสร้างแรงจูงใจที่รับรองว่าผู้เล่นที่มีเหตุผลทางการเงินแต่ละคนทำหน้าที่อย่างซื่อสัตย์และทำงานตามที่ตั้งใจไว้)**ระบบส่วนใหญ่ประกอบด้วยผู้เข้าร่วมหลัก 4 คน ได้แก่ ผู้ส่ง ผู้แก้ไข ผู้ตรวจสอบ และผู้แจ้งเบาะแส **ผู้ส่ง: ผู้ใช้ปลายทางของระบบ ผู้จัดเตรียมงานที่ต้องคำนวณและชำระเงินสำหรับหน่วยงานที่เสร็จสมบูรณ์ ผู้แก้ปัญหา: ส่วนการทำงานหลักของระบบ ดำเนินการฝึกอบรมแบบจำลอง และสร้างหลักฐานสำหรับการตรวจสอบโดยผู้ตรวจสอบ ผู้ตรวจสอบ : non-deterministic กระบวนการฝึกอบรมเชื่อมโยงกับ deterministic linear computation, จำลองส่วนหนึ่งของการพิสูจน์ของโจทย์และเปรียบเทียบระยะทางกับเกณฑ์ที่คาดไว้, whistleblower: ด่านสุดท้ายของการป้องกัน, ตรวจสอบการทำงานของ verifier และท้าทายสำหรับ แจ็คพอต### 2. อุปทานใหม่ใช้ประโยชน์จากทรัพยากรของอุปกรณ์คอมพิวเตอร์ที่ใช้งานน้อยเกินไปและใช้งานน้อย/ไม่ได้รับการปรับให้เหมาะสม อุปกรณ์เหล่านี้มีตั้งแต่ GPU สำหรับเล่นเกมที่ไม่ได้ใช้งานในปัจจุบัน ไปจนถึงตัวขุด GPU จากยุคก่อน Ethereum PoW และการกระจายอำนาจของโปรโตคอลหมายความว่าท้ายที่สุดแล้วโปรโตคอลจะถูกควบคุมโดยเสียงข้างมากของชุมชน และไม่สามารถ "ปิด" ได้หากไม่ได้รับความยินยอมจากชุมชน ซึ่งแตกต่างจาก web2 โปรโตคอลนี้ทำให้ทนต่อการเซ็นเซอร์ปรับขนาด + ต้นทุนต่ำ: โปรโตคอล Gensyn มีค่าใช้จ่ายใกล้เคียงกับ GPU ของศูนย์ข้อมูล ซึ่งสามารถปรับขนาดได้เกินกว่า AWS
a16z เป็นผู้นำการลงทุน 43 ล้านดอลลาร์ใน Gensyn ซึ่งเป็นตลาดพลังงานการประมวลผล AGI เพื่อทำความเข้าใจ Gensyn
เมื่อวันที่ 12 มิถุนายน 2023 Gensyn ซึ่งเป็นโปรโตคอลตลาดพลังงานการประมวลผล AGI ที่ใช้บล็อกเชน ได้ประกาศเสร็จสิ้นการระดมทุนรอบ Series A มูลค่า 43 ล้านดอลลาร์ นำโดย a16z โดยมีส่วนร่วมจาก Eden Block, CoinFund, Galaxy และ Protocol Labs
Gensyn เป็นโครงการประเภทใด? ทำไมคุณถึงได้รับเงินลงทุนก้อนโตจาก VC ชั้นนำ? Golden Finance จะพาคุณไปทำความเข้าใจในบทความเดียว
a16z: เหตุใดจึงเป็นผู้นำการระดมทุน Series A มูลค่า 43 ล้านเหรียญของ Gensyn
a16z โพสต์บทความที่อธิบายว่าเหตุใดจึงนำไปสู่การระดมทุนรอบ Series A ของ Gensyn มูลค่า 43 ล้านดอลลาร์ a16z กล่าวว่าความก้าวหน้าล่าสุดของปัญญาประดิษฐ์นั้นเหลือเชื่อและมีพลังในการกอบกู้โลก (ดูรายงานก่อนหน้าของ Jinse Finance "บทความขนาดยาวของผู้ก่อตั้ง a16z: ทำไม AI จะช่วยโลก") แต่การสร้างระบบ AI ต้องใช้พลังการประมวลผลที่มากขึ้นเพื่อฝึกฝนและให้เหตุผลเกี่ยวกับโมเดลที่ใหญ่ที่สุดและทรงพลังที่สุดที่มีอยู่ในปัจจุบัน นั่นหมายถึงบริษัทเทคโนโลยีขนาดใหญ่มีความได้เปรียบเหนือสตาร์ทอัพในการแข่งขันเพื่อดึงคุณค่าจาก AI ด้วยสิทธิพิเศษในการเข้าถึงพลังการประมวลผลและการประหยัดต่อขนาดของศูนย์ข้อมูลขนาดใหญ่ ในการแข่งขันบนสนามแข่งขันระดับเดียวกัน สตาร์ทอัพต้องสามารถใช้พลังการประมวลผลมหาศาลของตนเองได้ในราคาไม่แพง
Blockchains เป็นคอมพิวเตอร์ชนิดใหม่ มีลักษณะเฉพาะตรงที่นักพัฒนาสามารถเขียนโค้ดที่ให้คำมั่นสัญญาว่าโค้ดจะทำงานอย่างไรในอนาคต ส่วนประกอบที่ไม่ได้รับอนุญาตของบล็อกเชนนี้สามารถสร้างตลาดสำหรับผู้ซื้อและผู้ขายของพลังการประมวลผล — หรือทรัพยากรดิจิทัลประเภทอื่นๆ เช่น ข้อมูลหรืออัลกอริทึม — เพื่อซื้อขายทั่วโลกโดยไม่ต้องมีคนกลาง
**Gensyn โปรโตคอลตลาดการประมวลผล AGI บนบล็อกเชน เชื่อมต่อนักพัฒนา (ใครก็ตามที่สามารถฝึกโมเดลการเรียนรู้ของเครื่อง) กับตัวแก้ปัญหา (Solver ใครก็ตามที่ต้องการใช้เครื่องจักรของตนเองเพื่อฝึกโมเดลการเรียนรู้ของเครื่อง) Gensyn สามารถเพิ่มพลังการประมวลผลที่มีอยู่สำหรับแมชชีนเลิร์นนิงได้ 10-100 เท่า โดยใช้ประโยชน์จากหางยาวของอุปกรณ์คอมพิวเตอร์ที่มีความสามารถในการเรียนรู้ของเครื่องที่ไม่ได้ใช้งานทั่วโลก เช่น ศูนย์ข้อมูลขนาดเล็ก พีซีสำหรับเล่นเกม Mac M1 และ M2 และแม้แต่สมาร์ทโฟน **
ปัญหาที่เผชิญ AGI (ปัญญาประดิษฐ์ทั่วไป): รวมศูนย์สูง
หลังจากพัฒนามาเกือบครึ่งปี ตลาดโดยทั่วไปตระหนักว่า AGI คืออนาคต แต่ปัจจุบัน อุตสาหกรรม AGI ดูผูกขาดอย่างมาก** ระหว่างประเทศคือสงครามการค้าและความสามารถระหว่างจีนและสหรัฐอเมริกา และระหว่างบริษัทเป็นเกมของบริษัทเทคโนโลยีขนาดใหญ่ (Microsoft, Google, Meta) **เนื่องจากทรัพยากรหลักสามประการของ AGI (พลังการประมวลผล ความรู้ และข้อมูล) นั้นถูกรวมศูนย์ไว้อย่างสูงในปัจจุบัน **
พลังการประมวลผล: รุ่นที่มีขนาดใหญ่และซับซ้อนมากขึ้นต้องใช้โปรเซสเซอร์ที่มีการประมวลผลสูงเพื่อการฝึกอบรม ระหว่างประเทศ: สงครามชิประหว่างจีนและสหรัฐอเมริกา สหรัฐฯ ได้กีดกันจีนไม่ให้ได้รับชิปพลังงานสูงอย่างแข็งขัน ระหว่างบริษัทต่างๆ: กำลังการผลิตไม่เพียงพอ ชิป AI ล่าสุดของ Nvidia ถูกซื้อโดยลูกค้ารายใหญ่บางราย และบริษัทอื่นๆ ไม่สามารถซื้อได้เลย ในกลุ่มเทคโนโลยี: บางบริษัทถึงกับสร้างฮาร์ดแวร์เฉพาะของตนเองสำหรับการเรียนรู้เชิงลึก เช่น คลัสเตอร์ TPU ของ Google มีประสิทธิภาพเหนือกว่า GPU มาตรฐานสำหรับการเรียนรู้เชิงลึกและไม่มีขาย มีให้เช่าเท่านั้น
ความรู้: ความก้าวหน้าสาธารณะหลายอย่างเกิดจากสถาปัตยกรรมแบบจำลองขนาดใหญ่ใหม่ที่นักวิจัยพัฒนาขึ้น แต่ยังมีการต่อสู้เพื่อแย่งชิงทรัพย์สินทางปัญญาและความสามารถพิเศษ ตัวอย่างเช่น สหรัฐอเมริกาดึงดูดผู้มีความสามารถด้าน AI ของจีนมากกว่า 50% และบริษัทขนาดใหญ่ที่ใช้ความสามารถเหล่านี้เพื่อพัฒนาโมเดลขนาดใหญ่กำลังลดการเข้าถึงเทคโนโลยีนี้มากขึ้น GPT-3.5 หรือ 4 ของ OpenAI นั้นเปิดเผยต่อสาธารณะในนาม แต่ มันอยู่เบื้องหลัง API และมีเพียง Microsoft เท่านั้นที่สามารถเข้าถึงซอร์สโค้ดได้
ข้อมูล: โมเดลการเรียนรู้เชิงลึกของ AGI ต้องการข้อมูลจำนวนมาก ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ และโดยทั่วไปแล้วจะปรับปรุงด้วยข้อมูลที่มากขึ้น GPT-3 ได้รับการฝึกอบรมเกี่ยวกับ 300 พันล้านคำ ข้อมูลที่มีป้ายกำกับมีความสำคัญเป็นพิเศษ และชุดข้อมูลที่จำเป็นในการฝึกอบรม AGI นั้นกระจุกตัวอยู่ในมือของบริษัทขนาดใหญ่บางแห่ง ตัวอย่างเช่น เกร็ดความรู้เล็กๆ น้อยๆ: ทุกครั้งที่คุณเยี่ยมชมเว็บไซต์ที่แก้ไข reCaptcha คุณกำลังติดป้ายกำกับข้อมูลการฝึกอบรมเพื่อปรับปรุง Google Maps
ความยากลำบากในการคำนวณ AGI แบบกระจายอำนาจ
การคำนวณแบบกระจายศูนย์สามารถสร้างพื้นฐานที่ถูกกว่าและอิสระกว่าในการวิจัยและพัฒนาปัญญาประดิษฐ์ แต่มีปัญหาในการตรวจสอบการทำงานใน AGI แบบกระจายอำนาจ คุณจะทราบได้อย่างไรว่าบุคคลที่สามได้คำนวณตามที่คุณขอเรียบร้อยแล้ว
ปริศนาพิสูจน์การทำงานมี 2 ปัจจัย ได้แก่ การพึ่งพาอาศัยของรัฐ และค่าใช้จ่ายในการคำนวณสูง
การพึ่งพาสถานะ: แต่ละเลเยอร์ในโครงข่ายประสาทเทียมเชื่อมต่อกับโหนดทั้งหมดในเลเยอร์ก่อนหน้า ซึ่งหมายความว่าต้องการสถานะของเลเยอร์ก่อนหน้า ยิ่งไปกว่านั้น น้ำหนักทั้งหมดของแต่ละเลเยอร์ถูกกำหนดโดยขั้นตอนของเวลาก่อนหน้า ดังนั้น ถ้าคุณต้องการตรวจสอบว่ามีคนฝึกโมเดล -- พูดโดยการเลือกจุดสุ่มในเครือข่ายและดูว่าคุณได้รับสถานะเดียวกันหรือไม่ คุณต้องฝึกโมเดลต่อไปจนกว่าจะถึงจุดนั้น ซึ่งมีค่าใช้จ่ายสูงในการคำนวณ
ค่าใช้จ่ายด้านการคำนวณสูง: ค่าใช้จ่ายในการฝึกอบรมเซสชันเดียวของ GPT-3 ในปี 2020 อยู่ที่ประมาณ 12 ล้านดอลลาร์ ซึ่งสูงกว่ามูลค่าประมาณ 270 เท่าของการฝึกอบรม GPT-2 ในปี 2019 ที่ประมาณ 43,000 ดอลลาร์ โดยทั่วไป ความซับซ้อนของโมเดล (ขนาด) ของโครงข่ายประสาทเทียมที่ดีที่สุดในปัจจุบันจะเพิ่มเป็นสองเท่าทุกๆ สามเดือน ค่าใช้จ่ายในการตรวจสอบ ซึ่งอาจมาจากการขึ้นต่อกันของรัฐ เป็นที่ยอมรับได้หากโครงข่ายประสาทเทียมมีราคาถูกกว่า และ/หรือหากการฝึกอบรมแสดงถึงกระบวนการพัฒนาแบบจำลองน้อยกว่า
หากคุณต้องการให้การฝึกอบรมการเรียนรู้เชิงลึกมีราคาถูกและกระจายการควบคุม คุณต้องมีระบบที่จัดการการตรวจสอบที่เกี่ยวข้องกับสถานะอย่างไม่ไว้วางใจ ในขณะที่มีราคาถูกในแง่ของค่าใช้จ่ายและให้รางวัลแก่ผู้ที่มีส่วนร่วมในการคำนวณ
Gensyn กระจายอำนาจการประมวลผล AGI อย่างไร
โปรโตคอล Gensyn รวมการประมวลผลทั้งหมดในโลกเข้าด้วยกันเป็นซูเปอร์คลัสเตอร์แมชชีนเลิร์นนิงระดับโลกที่ทุกคนสามารถเข้าถึงได้ ช่วยให้สามารถฝึกอบรมเครือข่ายประสาทที่ไม่ไว้วางใจได้ในขนาดใหญ่มากและมีค่าใช้จ่ายต่ำโดยการรวมสองสิ่งเข้าด้วยกัน:
1. ระบบการตรวจสอบที่เป็นนวัตกรรมใหม่
ระบบการตรวจสอบที่แก้ปัญหาการพึ่งพารัฐได้อย่างมีประสิทธิภาพในการฝึกอบรมโครงข่ายประสาทเทียมในระดับตามอำเภอใจ ระบบรวมจุดตรวจสอบการฝึกอบรมแบบจำลองกับการตรวจสอบความน่าจะเป็นที่ยุติการทำงานแบบออนไลน์ ทำทั้งหมดนี้ในลักษณะที่ไม่น่าเชื่อถือด้วยค่าโสหุ้ยที่ปรับขนาดเชิงเส้นตามขนาดโมเดล (ทำให้ต้นทุนการตรวจสอบคงที่)
จากข้อมูลของ Gensyn Litepaper Gensyn แก้ปัญหาการยืนยันผ่านแนวคิดสามประการเป็นหลัก: การพิสูจน์ความน่าจะเป็นของการเรียนรู้ (การใช้ข้อมูลเมตาในกระบวนการปรับให้เหมาะสมตามการไล่ระดับสีเพื่อสร้างใบรับรองของงานที่ทำและตรวจสอบอย่างรวดเร็วผ่านการจำลองแบบในบางขั้นตอน) , โปรโตคอลการระบุตำแหน่งตามกราฟ (ใช้โปรโตคอลการระบุตำแหน่งบนกราฟแบบหลายเกรนและการดำเนินการที่สอดคล้องกันระหว่างผู้ประเมินเพื่อให้งานตรวจสอบสามารถรันซ้ำและเปรียบเทียบเพื่อความสอดคล้อง และในที่สุดก็ได้รับการยืนยันโดยสายโซ่เอง) แรงจูงใจสไตล์ Truebit เกม (ใช้การปักหลักและการเฉือนเพื่อสร้างเกมสร้างแรงจูงใจที่รับรองว่าผู้เล่นที่มีเหตุผลทางการเงินแต่ละคนทำหน้าที่อย่างซื่อสัตย์และทำงานตามที่ตั้งใจไว้)
**ระบบส่วนใหญ่ประกอบด้วยผู้เข้าร่วมหลัก 4 คน ได้แก่ ผู้ส่ง ผู้แก้ไข ผู้ตรวจสอบ และผู้แจ้งเบาะแส **ผู้ส่ง: ผู้ใช้ปลายทางของระบบ ผู้จัดเตรียมงานที่ต้องคำนวณและชำระเงินสำหรับหน่วยงานที่เสร็จสมบูรณ์ ผู้แก้ปัญหา: ส่วนการทำงานหลักของระบบ ดำเนินการฝึกอบรมแบบจำลอง และสร้างหลักฐานสำหรับการตรวจสอบโดยผู้ตรวจสอบ ผู้ตรวจสอบ : non-deterministic กระบวนการฝึกอบรมเชื่อมโยงกับ deterministic linear computation, จำลองส่วนหนึ่งของการพิสูจน์ของโจทย์และเปรียบเทียบระยะทางกับเกณฑ์ที่คาดไว้, whistleblower: ด่านสุดท้ายของการป้องกัน, ตรวจสอบการทำงานของ verifier และท้าทายสำหรับ แจ็คพอต
2. อุปทานใหม่
ใช้ประโยชน์จากทรัพยากรของอุปกรณ์คอมพิวเตอร์ที่ใช้งานน้อยเกินไปและใช้งานน้อย/ไม่ได้รับการปรับให้เหมาะสม อุปกรณ์เหล่านี้มีตั้งแต่ GPU สำหรับเล่นเกมที่ไม่ได้ใช้งานในปัจจุบัน ไปจนถึงตัวขุด GPU จากยุคก่อน Ethereum PoW และการกระจายอำนาจของโปรโตคอลหมายความว่าท้ายที่สุดแล้วโปรโตคอลจะถูกควบคุมโดยเสียงข้างมากของชุมชน และไม่สามารถ "ปิด" ได้หากไม่ได้รับความยินยอมจากชุมชน ซึ่งแตกต่างจาก web2 โปรโตคอลนี้ทำให้ทนต่อการเซ็นเซอร์
ปรับขนาด + ต้นทุนต่ำ: โปรโตคอล Gensyn มีค่าใช้จ่ายใกล้เคียงกับ GPU ของศูนย์ข้อมูล ซึ่งสามารถปรับขนาดได้เกินกว่า AWS