Variant พาร์ทเนอร์การลงทุน: โอเพ่นซอร์ส AI ในความทุกข์ที่ท้าทายและการพุ่งขึ้น ทำไมเทคโนโลยีการเข้ารหัสถึงเป็นส่วนสุดท้ายของปริศนา?

ผู้เขียน: Daniel Barabander Compiler: Deep Tide TechFlow Brief Summary At present, the development of basic AI is dominated by a few technology companies, which is characterized by closed and lack of competition. โอเพ่นซอร์ส การพัฒนาซอฟต์แวร์เป็นทางออกที่เป็นไปได้ แต่ AI พื้นฐานไม่สามารถทํางานได้เหมือนโครงการโอเพ่นซอร์สแบบดั้งเดิม (เช่น Linux) เนื่องจากต้องเผชิญกับ "ปัญหาทรัพยากร": ผู้มีส่วนร่วมของโอเพ่นซอร์สไม่เพียง แต่ต้องลงทุนเวลา แต่ยังต้องแบกรับค่าใช้จ่ายในการคํานวณและข้อมูลเกินความสามารถส่วนบุคคลของพวกเขา การเข้ารหัสเทคโนโลยีคาดว่าจะแก้ปัญหาทรัพยากรนี้โดยการจูงใจให้ผู้ให้บริการทรัพยากรเข้าร่วมในโครงการ AI ของโอเพ่นซอร์สพื้นฐาน การรวมโอเพ่นซอร์ส AI เข้ากับการเข้ารหัสเทคโนโลยีสามารถรองรับการพัฒนาโมเดลขนาดใหญ่และขับเคลื่อนนวัตกรรมเพิ่มเติมเพื่อสร้างระบบ AI ขั้นสูง บทนํา จากการสํารวจที่จัดทําโดย Pew Research Center (Pew Research Center) ในปี 2024 ชาวอเมริกัน 64% เชื่อว่าผลกระทบของโซเชียลมีเดียที่มีต่อประเทศชาตินั้นเป็นอันตรายมากกว่าผลดี 78% กล่าวว่า บริษัท โซเชียลมีเดียมีอํานาจและอิทธิพลทางการเมืองมากเกินไป 83% เชื่อว่าแพลตฟอร์มเหล่านี้มีแนวโน้มที่จะเซ็นเซอร์มุมมองทางการเมืองที่พวกเขาไม่เห็นด้วยโดยเจตนา ความไม่พอใจกับโซเชียลมีเดียเกือบจะกลายเป็นหนึ่งในไม่กี่ฉันทามติในสังคมอเมริกัน เมื่อมองย้อนกลับไปที่วิวัฒนาการของโซเชียลมีเดียในช่วง 20 ปีที่ผ่านมาสถานการณ์นี้ดูเหมือนจะได้รับการแต่งตั้งล่วงหน้า เรื่องราวไม่ซับซ้อน: บริษัท เทคโนโลยีขนาดใหญ่จํานวนหนึ่งได้รับความสนใจจากผู้ใช้และที่สําคัญกว่านั้นคือข้อมูลผู้ใช้ แม้จะมีความหวังในตอนแรกสําหรับข้อมูลแบบเปิด แต่ บริษัท ต่างๆก็เปลี่ยนกลยุทธ์อย่างรวดเร็วโดยใช้ข้อมูลเพื่อสร้างเอฟเฟกต์เครือข่ายที่ไม่แตกหักและปิดการเข้าถึงจากภายนอก ผลที่ได้คือสถานการณ์ในปัจจุบัน: บริษัท เทคโนโลยีขนาดใหญ่น้อยกว่า 10 แห่งครองอุตสาหกรรมโซเชียลมีเดียสร้างภูมิทัศน์ "ตลาดผู้ขายน้อยราย monopoly" เนื่องจากสถานะที่เป็นอยู่นั้นเอื้ออํานวยต่อพวกเขาอย่างมาก บริษัท เหล่านี้จึงมีแรงจูงใจเพียงเล็กน้อยในการเปลี่ยนแปลง รุ่นนี้ถูกปิดและขาดการแข่งขัน วันนี้วิถีของเทคโนโลยี AI ดูเหมือนจะทําซ้ําตัวเอง แต่คราวนี้ผลกระทบนั้นกว้างไกลยิ่งขึ้น บริษัทเทคโนโลยีจํานวนหนึ่งได้สร้างโมเดล AI พื้นฐานโดยการควบคุม GPU และทรัพยากรข้อมูล และได้ปิดการเข้าถึงโมเดลเหล่านั้น สําหรับผู้เข้าใหม่ที่ไม่มีเงินทุนหลายพันล้านดอลลาร์แทบจะเป็นไปไม่ได้เลยที่จะพัฒนารูปแบบการแข่งขัน เนื่องจากค่าใช้จ่ายในการคํานวณของการฝึกอบรมเพียงรูปแบบพื้นฐานเดียวคือพันล้านดอลลาร์ บริษัท โซเชียลมีเดียที่ได้รับประโยชน์จากคลื่นลูกสุดท้ายของเทคโนโลยีจึงใช้การควบคุมข้อมูลผู้ใช้ที่เป็นกรรมสิทธิ์เพื่อพัฒนาโมเดลที่ยากสําหรับคู่แข่งที่จะจับคู่ เรากําลังทําซ้ําความผิดพลาดของโซเชียลมีเดียและก้าวไปสู่โลก AI ที่ปิดและไม่มีการแข่งขัน หากแนวโน้มนี้ยังคงดําเนินต่อไป บริษัท เทคโนโลยีจํานวนหนึ่งจะสามารถควบคุมการเข้าถึงข้อมูลและโอกาสได้อย่างไม่ถูกจํากัด โอเพ่นซอร์ส AI and the "Resource Problem" หากเราไม่ต้องการเห็นโลกปิดของ AI แล้วตัวเลือกของเราคืออะไร? คําตอบที่ชัดเจนคือการพัฒนาโมเดลฐานเป็นโครงการซอฟต์แวร์โอเพ่นซอร์ส ในอดีตเรามีโครงการนับไม่ถ้วนที่ประสบความสําเร็จในการสร้างซอฟต์แวร์พื้นฐานที่เราพึ่งพาทุกวัน ตัวอย่างเช่นความสําเร็จของ Linux พิสูจน์ให้เห็นว่าแม้แต่ซอฟต์แวร์ที่เป็นแกนหลักในฐานะระบบปฏิบัติการก็สามารถพัฒนาได้ด้วยวิธีโอเพ่นซอร์ส เหตุใด LLM (โมเดลภาษาขนาดใหญ่) จึงไม่สามารถ อย่างไรก็ตามข้อ จํากัด พิเศษที่ต้องเผชิญกับโมเดล AI พื้นฐานทําให้พวกเขาแตกต่างจากซอฟต์แวร์แบบดั้งเดิมซึ่งทําให้ความมีชีวิตของพวกเขาลดลงอย่างมากเช่นเดียวกับโครงการโอเพ่นซอร์สแบบดั้งเดิม โดยเฉพาะอย่างยิ่งโมเดล AI พื้นฐานต้องการการประมวลผลและทรัพยากรข้อมูลจํานวนมหาศาลที่เกินความสามารถของบุคคล ซึ่งแตกต่างจากโครงการโอเพ่นซอร์สแบบดั้งเดิมซึ่งพึ่งพาผู้คนในการบริจาคเวลาเท่านั้นโอเพ่นซอร์ส AI ยังขอให้ผู้คนบริจาคพลังการประมวลผลและทรัพยากรข้อมูลซึ่งเรียกว่า "ปัญหาทรัพยากร" การใช้โมเดล LLaMa ของ Meta เป็นตัวอย่าง เราสามารถเข้าใจปัญหาทรัพยากรนี้ได้ดีขึ้น ซึ่งแตกต่างจากคู่แข่งอย่าง OpenAI และ Google Meta ไม่ได้ซ่อนโมเดลไว้เบื้องหลัง API แบบชําระเงิน แต่เสนอน้ําหนัก LLaMa อย่างเปิดเผยสําหรับทุกคนที่จะใช้ฟรี (โดยมีข้อ จํากัด บางประการ) น้ําหนักเหล่านี้ประกอบด้วยสิ่งที่โมเดลเรียนรู้ระหว่างการฝึก Meta และจําเป็นต่อการเรียกใช้โมเดล ด้วยน้ําหนักเหล่านี้ผู้ใช้สามารถปรับแต่งโมเดลหรือใช้เอาต์พุตของโมเดลเป็นอินพุตไปยังรุ่นใหม่ได้ แม้ว่าการเปิดตัว LLaMa ของ Meta จะคุ้มค่าที่จะได้รับการยอมรับ แต่ก็ไม่นับเป็นโครงการซอฟต์แวร์โอเพ่นซอร์สที่แท้จริง เบื้องหลัง Meta ควบคุมกระบวนการฝึกอบรมโดยอาศัยทรัพยากรการประมวลผลข้อมูลและการตัดสินใจของตนเองและตัดสินใจเพียงฝ่ายเดียวว่าเมื่อใดที่จะทําให้โมเดลพร้อมใช้งานต่อสาธารณะ Meta ไม่ได้เชิญนักวิจัยอิสระหรือนักพัฒนาให้เข้าร่วมในการทํางานร่วมกันของชุมชน เนื่องจากทรัพยากรที่จําเป็นในการฝึกอบรมหรือฝึกอบรมโมเดลใหม่นั้นเกินความสามารถของบุคคลทั่วไปมาก ทรัพยากรเหล่านี้รวมถึง GPU ประสิทธิภาพสูงหลายหมื่นตัวศูนย์ข้อมูลเพื่อจัดเก็บ GPU เหล่านั้นสิ่งอํานวยความสะดวกในการระบายความร้อนที่ซับซ้อนและโทเค็นนับล้านล้าน (หน่วยข้อมูลข้อความที่จําเป็นสําหรับการฝึกอบรมแบบจําลอง) สําหรับการฝึกอบรม ตามที่ระบุไว้ในรายงานดัชนี AI ปี 2024 ของมหาวิทยาลัยสแตนฟอร์ด "ค่าใช้จ่ายอย่างมากในการฝึกอบรมอย่างมีประสิทธิภาพไม่รวมมหาวิทยาลัยซึ่งแต่เดิมเป็นโรงไฟฟ้าของการวิจัย AI จากการพัฒนาโมเดลพื้นฐานชั้นนํา" ตัวอย่างเช่น Sam Altman กล่าวว่ามีค่าใช้จ่ายสูงถึง 100 ล้านดอลลาร์ในการฝึกอบรม GPT-4 และนั่นยังไม่รวมถึงค่าใช้จ่ายด้านทุนสําหรับฮาร์ดแวร์ นอกจากนี้ รายจ่ายฝ่ายทุนของ Meta เพิ่มขึ้น 2.1 พันล้านดอลลาร์ในไตรมาสที่ 2 ปี 2024 เมื่อเทียบกับช่วงเวลาเดียวกันในปี 2023 ส่วนใหญ่สําหรับเซิร์ฟเวอร์ ศูนย์ข้อมูล และโครงสร้างพื้นฐานเครือข่ายที่เกี่ยวข้องกับการฝึกอบรมโมเดล AI เป็นผลให้ในขณะที่ผู้สนับสนุนชุมชนของ LLaMa อาจมีความสามารถทางเทคนิคในการปรับปรุงสถาปัตยกรรมแบบจําลองพวกเขาขาดทรัพยากรในการดําเนินการปรับปรุงเหล่านั้น โดยสรุปไม่เหมือนกับโครงการซอฟต์แวร์ โอเพ่นซอร์ส แบบดั้งเดิม โครงการ AI ไม่เพียง แต่ต้องการผู้มีส่วนร่วมเพื่อลงทุนเวลา แต่ยังต้องการให้พวกเขาต้องแบกรับต้นทุนการคํานวณและข้อมูลที่สูง มันไม่สมจริงที่จะพึ่งพาความปรารถนาดีและจิตอาสาเพียงอย่างเดียวเพื่อกระตุ้นให้ผู้ให้บริการทรัพยากรเพียงพอ พวกเขาต้องการสิ่งจูงใจเพิ่มเติม ยกตัวอย่างโมเดลภาษาขนาดใหญ่ BLOOM โมเดลพารามิเตอร์ 176 พันล้านตัวนี้รวบรวมความพยายามของนักวิจัยอาสาสมัคร 1,000 คนจากสถาบันมากกว่า 250 แห่งในกว่า 70 ประเทศ แม้ว่าความสําเร็จของ BLOOM จะน่าชื่นชม (และฉันสนับสนุนอย่างเต็มที่) แต่ก็ใช้เวลาหนึ่งปีในการประสานงานการฝึกอบรมและอาศัยเงินทุน 3 ล้านยูโรจากสถาบันวิจัยของฝรั่งเศส (และนี่ไม่รวมถึงค่าใช้จ่ายด้านทุนของ ซูเปอร์คอมพิวเตอร์ ที่ใช้ในการฝึกอบรมโมเดล) กระบวนการพึ่งพาเงินทุนรอบใหม่เพื่อประสานงานและทําซ้ําใน BLOOM นั้นยุ่งยากเกินไปที่จะจับคู่ความเร็วของการพัฒนาในห้องปฏิบัติการเทคโนโลยีขนาดใหญ่ เป็นเวลากว่าสองปีแล้วที่ BLOOM เปิดตัวและทีมงานยังไม่เคยได้ยินโมเดลติดตามผลใด ๆ เพื่อให้โอเพ่นซอร์ส AI เป็นไปได้เราจําเป็นต้องหาวิธีจูงใจผู้ให้บริการทรัพยากรให้มีส่วนร่วมในพลังการประมวลผลและทรัพยากรข้อมูลแทนที่จะปล่อยให้ผู้มีส่วนร่วมของโอเพ่นซอร์สต้องแบกรับค่าใช้จ่ายเหล่านี้ด้วยตนเอง Why การเข้ารหัส technology can solve the "resource problem" of basic โอเพ่นซอร์ส AI The core breakthrough of การเข้ารหัส technology is to make high-resource cost โอเพ่นซอร์ส software projects possible through the "ownership" mechanism. มันแก้ปัญหาทรัพยากรของโอเพ่นซอร์ส AI โดยจูงใจผู้ให้บริการทรัพยากรที่มีศักยภาพให้เข้าร่วมในเครือข่ายแทนที่จะให้ผู้สนับสนุนโอเพ่นซอร์สแบกรับต้นทุนของทรัพยากรเหล่านี้ล่วงหน้า BTC เป็นตัวอย่างที่ดีของเรื่องนี้ ในฐานะที่เป็นโครงการการเข้ารหัสแรกสุด BTC เป็นโครงการซอฟต์แวร์โอเพ่นซอร์สเต็มรูปแบบซึ่งมีรหัสสาธารณะมาตั้งแต่ต้น อย่างไรก็ตามรหัสนั้นไม่ใช่กุญแจสําคัญในการ BTC มันไม่สมเหตุสมผลเลยที่จะดาวน์โหลดและเรียกใช้ซอฟต์แวร์ BTC โหนด และสร้างห่วงโซ่บล็อกในเครื่อง ค่าที่แท้จริงของซอฟต์แวร์สามารถแสดงให้เห็นได้ก็ต่อเมื่อปริมาณการคํานวณที่ต้องการโดย กระบวนการขุดเหมืองบล็อก เพียงพอที่จะเกินกําลังการคํานวณของผู้สนับสนุนรายใดรายหนึ่ง: การรักษาการกระจายอํานาจจ คล้ายกับ AI โอเพ่นซอร์สพื้นฐาน BTC ยังเป็นโครงการโอเพ่นซอร์สที่ต้องใช้ทรัพยากรเกินขอบเขตของความสามารถของบุคคล ในขณะที่ทั้งสองต้องการทรัพยากรการคํานวณด้วยเหตุผลที่แตกต่างกัน - BTC ต้องการทรัพยากรการคํานวณเพื่อให้แน่ใจว่าเครือข่ายไม่สามารถดัดแปลงได้ในขณะที่ AI พื้นฐานต้องการทรัพยากรการคํานวณเพื่อเพิ่มประสิทธิภาพและทําซ้ําในแบบจําลอง - สิ่งที่พวกเขาทั้งหมดมีเหมือนกันคือพวกเขาทั้งสองพึ่งพาทรัพยากรที่อยู่นอกเหนือความสามารถของบุคคล BTC รวมถึงเครือข่ายการเข้ารหัสอื่น ๆ สามารถจูงใจให้ผู้เข้าร่วมมีส่วนร่วมในทรัพยากรในโครงการซอฟต์แวร์โอเพ่นซอร์ส ตามที่ระบุไว้ในปรัชญาการก่อตั้งของ Jesse ที่เขียนขึ้นสําหรับ Variant ในปี 2020 ความเป็นเจ้าของเป็นแรงจูงใจที่แข็งแกร่งสําหรับผู้ให้บริการทรัพยากรที่จะเต็มใจที่จะสนับสนุนทรัพยากรเพื่อแลกกับผลกําไรที่อาจเกิดขึ้นในเครือข่าย กลไกนี้คล้ายกับวิธีที่สตาร์ทอัพจัดการกับปัญหาการขาดแคลนเงินทุนในระยะเริ่มต้นผ่าน (Sweat Equity) "sweat equity" โดยการจ่ายเงินให้กับพนักงานระยะแรก (เช่นผู้ก่อตั้ง) เป็นหลักในรูปแบบของการเป็นเจ้าของ บริษัท สตาร์ทอัพสามารถดึงดูดแรงงานที่พวกเขาไม่สามารถจ่ายได้ การเข้ารหัสเทคโนโลยีขยายแนวคิดของ "sweat equity" จากการมุ่งเน้นไปที่ผู้มีส่วนร่วมด้านเวลาไปยังผู้ให้บริการทรัพยากร ด้วยเหตุนี้ Variant จึงมุ่งเน้นไปที่การลงทุนในโครงการที่ใช้ประโยชน์จากกลไกการเป็นเจ้าของเพื่อสร้างเอฟเฟกต์เครือข่าย เช่น Uniswap, Morpho และ World หากเราต้องการให้โอเพ่นซอร์ส AI กลายเป็นความจริงกลไกการเป็นเจ้าของที่ดําเนินการผ่านเทคโนโลยีการเข้ารหัสเป็นทางออกที่สําคัญสําหรับปัญหาทรัพยากร กลไกนี้ช่วยให้นักวิจัยมีอิสระในการสนับสนุนแนวคิดการออกแบบแบบจําลองของพวกเขาให้กับโครงการโอเพ่นซอร์สเนื่องจากทรัพยากรการคํานวณและข้อมูลที่จําเป็นในการนําแนวคิดเหล่านี้ไปใช้จะเป็นภาระของผู้ให้บริการทรัพยากรซึ่งจะสามารถแบกรับค่าใช้จ่ายล่วงหน้าสูงได้ด้วยตนเองโดยได้รับการถือครองกรรมสิทธิ์แบบสัดส่วนของโครงการ ในโอเพ่นซอร์ส AI ความเป็นเจ้าของสามารถมีได้หลายรูปแบบ แต่หนึ่งในสิ่งที่คาดหวังมากที่สุดคือความเป็นเจ้าของโมเดลเองซึ่งเป็นโซลูชันที่เสนอโดย Pluralis แนวทางที่เสนอโดย Pluralis เรียกว่า Protocol Models ในรุ่นนี้ผู้ให้บริการทรัพยากรคอมพิวเตอร์สามารถฝึกอบรมรูปแบบโอเพ่นซอร์สเฉพาะโดยการสนับสนุนพลังการประมวลผลและทําให้ได้รับการถือครองกรรมสิทธิ์แบบสัดส่วน เนื่องจากความเป็นเจ้าของนี้เชื่อมโยงกับโมเดลเฉพาะและมูลค่าของมันขึ้นอยู่กับรายได้การอนุมานของแบบจําลองผู้ให้บริการทรัพยากรคอมพิวเตอร์จึงถูกจูงใจให้เลือกรูปแบบที่เหมาะสมที่สุดสําหรับการฝึกอบรมโดยไม่ปลอมแปลงข้อมูลการฝึกอบรม (เนื่องจากการให้การฝึกอบรมที่ไร้ประโยชน์จะให้ความสําคัญกับมูลค่าที่คาดหวังของรายได้การอนุมานในอนาคตโดยตรง) อย่างไรก็ตาม คําถามสําคัญคือ พหูพจน์จะรับประกันความปลอดภัยในการเป็นเจ้าของได้อย่างไรหากกระบวนการฝึกอบรมกําหนดให้ต้องส่งน้ําหนักของโมเดลไปยังผู้ให้บริการประมวลผล คําตอบอยู่ที่การใช้เทคนิค (Model Parallelism) "model parallelization" เพื่อแจกจ่ายโมเดลให้กับคนงานที่แตกต่างกัน คุณสมบัติที่สําคัญของโครงข่ายประสาทเทียมคือแม้ว่าจะทราบเพียงเศษเสี้ยวเล็ก ๆ ของน้ําหนักของแบบจําลอง แต่เครื่องคํานวณยังสามารถเข้าร่วมในการฝึกอบรมเพื่อให้แน่ใจว่าไม่สามารถดึงตุ้มน้ําหนักครบชุดได้ นอกจากนี้เนื่องจากโมเดลต่างๆจํานวนมากได้รับการฝึกฝนในเวลาเดียวกันบนแพลตฟอร์ม Pluralis ผู้ฝึกสอนจะต้องเผชิญกับชุดน้ําหนักที่แตกต่างกันจํานวนมากซึ่งทําให้ยากมากที่จะสร้างโมเดลเต็มรูปแบบขึ้นมาใหม่ แนวคิดหลักของ Protocol Models คือโมเดลเหล่านี้สามารถฝึกฝนและใช้งานได้ แต่ไม่สามารถแยกออกจากโปรโตคอลได้ทั้งหมด (เว้นแต่พลังการคํานวณที่ใช้เกินทรัพยากรที่จําเป็นในการฝึกโมเดลตั้งแต่เริ่มต้น) กลไกนี้ช่วยแก้ปัญหาที่มักถูกยกขึ้นโดยนักวิจารณ์ AI ที่ปิดคู่แข่ง AI อาจไม่เหมาะสมกับผลของโครงการโอเพ่นซอร์ส Why การเข้ารหัส Technology + โอเพ่นซอร์ส = Better AI ในตอนต้นของบทความฉันแสดงให้เห็นถึงแง่มุมทางจริยธรรมและบรรทัดฐานของ AI แบบปิดโดยการวิเคราะห์การควบคุม AI ของ Big Tech แต่ในยุคที่ไร้อํานาจฉันกลัวว่าข้อโต้แย้งดังกล่าวอาจไม่โดนใจผู้อ่านส่วนใหญ่ ดังนั้นผมจึงอยากเริ่มจากผลในทางปฏิบัติและให้เหตุผลสองประการว่าทําไมโอเพ่นซอรร์ส AI ที่ขับเคลื่อนโดยการเข้ารหัสเทคโนโลยีสามารถนําไปสู่ AI ที่ดีขึ้นได้จริงๆ ประการแรกการรวมกันของการเข้ารหัสเทคโนโลยีและโอเพ่นซอร์ส AI สามารถประสานงานทรัพยากรเพิ่มเติมเพื่อขับเคลื่อนการพัฒนาโมเดลพื้นฐานรุ่นต่อไป (Foundation Models) การศึกษาแสดงให้เห็นว่าทั้งการเพิ่มพลังการประมวลผลและทรัพยากรข้อมูลสามารถช่วยปรับปรุงประสิทธิภาพของแบบจําลองซึ่งเป็นสาเหตุที่ขนาดของแบบจําลองพื้นฐานขยายตัว BTC แสดงให้เราเห็นถึงศักยภาพของซอฟต์แวร์โอเพ่นซอร์สรวมกับเทคโนโลยีการเข้ารหัสในแง่ของพลังการประมวลผล มันได้กลายเป็นเครือข่ายคอมพิวเตอร์ที่ใหญ่ที่สุดและทรงพลังที่สุดในโลกซึ่งใหญ่กว่าทรัพยากรการประมวลผลแบบคลาวด์ที่ Big Tech เป็นเจ้าของ การเข้ารหัสเทคโนโลยีมีความโดดเด่นตรงที่เปลี่ยนการแข่งขันแบบไซโลให้เป็นการแข่งขันแบบร่วมมือกัน ด้วยการจูงใจให้ผู้ให้บริการทรัพยากรมีส่วนร่วมในทรัพยากรเพื่อแก้ปัญหาทั่วไปแทนที่จะทํางานในไซโลและความพยายามในการทําซ้ําเครือข่ายการเข้ารหัสช่วยให้สามารถใช้ทรัพยากรได้อย่างมีประสิทธิภาพ โอเพ่นซอร์ส AI with การเข้ารหัส technology จะสามารถใช้ประโยชน์จากการประมวลผลและทรัพยากรข้อมูลของโลกเพื่อสร้างแบบจําลองในระดับที่ไกลกว่า AI แบบปิด ตัวอย่างเช่น บริษัท ไฮเพอร์โบลิกได้แสดงให้เห็นถึงศักยภาพของรุ่นนี้ พวกเขาใช้ประโยชน์สูงสุดจากทรัพยากรการประมวลผลแบบกระจายโดยทําให้ทุกคนสามารถเช่า GPU ได้ในราคาที่ต่ํากว่าผ่านตลาดเปิด ประการที่สองการรวมกันของการเข้ารหัสเทคโนโลยีและโอเพ่นซอร์ส AI จะขับเคลื่อนการเร่งความเร็วของนวัตกรรม นี่เป็นเพราะเมื่อปัญหาทรัพยากรได้รับการแก้ไขแล้วการวิจัยแมชชีนเลิร์นนิงสามารถกลับสู่ธรรมชาติของโอเพ่นซอร์สที่มีการทําซ้ําและสร้างสรรค์อย่างมาก ก่อนการถือกําเนิดของโมเดลภาษาขนาดใหญ่พื้นฐาน (LLM) นักวิจัยในสาขาแมชชีนเลิร์นนิงมักจะเผยแพร่โมเดลและพิมพ์เขียวการออกแบบที่ทําซ้ําได้ต่อสาธารณะ โมเดลเหล่านี้มักใช้ชุดข้อมูลโอเพ่นซอร์สและข้อกําหนดในการคํานวณค่อนข้างต่ําดังนั้นนักวิจัยจึงสามารถเพิ่มประสิทธิภาพและสร้างสรรค์สิ่งใหม่ ๆ บนรากฐานเหล่านี้ต่อไปได้ มันเป็นกระบวนการทําซ้ําปลายเปิดที่นําไปสู่ความก้าวหน้ามากมายในด้านการสร้างแบบจําลองตามลําดับเช่น (RNN) เครือข่ายประสาทเทียมที่เกิดขึ้นอีก (LSTM) เครือข่ายหน่วยความจําระยะสั้นระยะยาวและกลไกความสนใจ (Attention Mechanisms) สิ่งนี้ทําให้สถาปัตยกรรมแบบจําลองหม้อแปลงเป็นไปได้ในที่สุด อย่างไรก็ตามแนวทางการวิจัยแบบเปิดนี้มีการเปลี่ยนแปลงตั้งแต่เปิดตัว GPT-3 ด้วยความสําเร็จของ GPT-3 และ ChatGPT OpenAI ได้พิสูจน์แล้วว่าด้วยทรัพยากรและข้อมูลการประมวลผลที่เพียงพอทําให้สามารถฝึกโมเดลภาษาขนาดใหญ่ที่มีความสามารถในการเข้าใจภาษาได้ แนวโน้มนี้นําไปสู่การเพิ่มเกณฑ์ทรัพยากรอย่างรวดเร็วซึ่งนําไปสู่การยกเว้นสถาบันการศึกษาอย่างค่อยเป็นค่อยไปและความจริงที่ว่า บริษัท Big Tech ไม่เปิดเผยสถาปัตยกรรมแบบจําลองของตนอีกต่อไปเพื่อรักษาความได้เปรียบในการแข่งขัน สถานการณ์นี้จํากัดความสามารถของเราในการผลักดัน AI ที่ทันสมัย โอเพ่นซอรร์ส AI implemented through การเข้ารหัส technology can change that. ช่วยให้นักวิจัยสามารถทําซ้ําโมเดลที่ทันสมัยอีกครั้งเพื่อค้นพบ "หม้อแปลงตัวต่อไป" การรวมกันนี้ไม่เพียง แต่แก้ปัญหาทรัพยากร แต่ยังฟื้นฟูนวัตกรรมในด้านการเรียนรู้ของเครื่องซึ่งเป็นการเปิดเส้นทางที่กว้างขึ้นสําหรับอนาคตของ AI