เมื่อเร็วๆ นี้ IBM ได้เปิดตัวชิป AI แบบอะนาล็อกขนาด 14 นาโนเมตรใหม่ล่าสุด ซึ่งมีประสิทธิภาพมากกว่า GPU ชั้นนำถึง 14 เท่า ซึ่งสามารถทำให้ H100 คุ้มค่าเงินได้
ที่อยู่กระดาษ:
ในปัจจุบัน อุปสรรคที่ใหญ่ที่สุดในการพัฒนา generative AI คือการใช้พลังงานที่น่าอัศจรรย์ ทรัพยากรที่จำเป็นสำหรับ AI ไม่สามารถเติบโตได้อย่างยั่งยืน
ในทางกลับกัน IBM กำลังค้นคว้าวิธีปรับเปลี่ยนการประมวลผล AI หนึ่งในความสำเร็จของพวกเขาคือการประมวลผลหน่วยความจำจำลอง/วิธีปัญญาประดิษฐ์จำลอง ซึ่งสามารถลดการใช้พลังงานได้โดยใช้คุณสมบัติหลักของโครงข่ายประสาทเทียมที่ทำงานในสมองทางชีววิทยา
และแนวทางใหม่ของไอบีเอ็มคือการจำลองการประมวลผลหน่วยความจำ หรือจำลอง AI โดยย่อ ลดการใช้พลังงานโดยใช้ประโยชน์จากคุณลักษณะสำคัญของโครงข่ายประสาทเทียมที่ทำงานในสมองทางชีววิทยา
การปฏิวัติ AI เชิงสร้างสรรค์นี้เพิ่งเริ่มต้นขึ้น Deep Neural Networks (DNN) ได้ปฏิวัติวงการ AI โดยได้รับความโดดเด่นด้วยการพัฒนาแบบจำลองพื้นฐานและ AI เชิงสร้างสรรค์
ในเวลาเดียวกัน ชิป AI แบบอะนาล็อกของ IBM ตระหนักถึงความเร่งเหตุผลของปัญญาประดิษฐ์ที่มีประสิทธิภาพผ่านการประมวลผลระดับฮาร์ดแวร์และการบูรณาการพื้นที่เก็บข้อมูล ซึ่งเป็นความก้าวหน้าที่สำคัญในสาขานี้
ความท้าทายหลักสองประการในการจำลอง AI
ในการที่จะทำให้แนวคิด AI จำลองเกิดขึ้นได้นั้น จำเป็นต้องเอาชนะความท้าทายหลักสองประการ:
ในงานทำนายอักขระและงานสร้างคำอธิบายประกอบรูปภาพ IBM เปรียบเทียบผลลัพธ์ที่วัดบนฮาร์ดแวร์กับวิธีอื่นๆ และสาธิตโครงสร้างเครือข่าย การเขียนโปรแกรมน้ำหนัก และผลการวัดของงานที่เกี่ยวข้องซึ่งทำงานบนชิป AI จำลอง
อดีตอุตสาหกรรมที่ก้าวกระโดดสามารถครองความเป็นผู้นำในการผลิตชิป AI ได้ เนื่องจากยอมรับแนวโน้มของ AI ตั้งแต่เนิ่นๆ ชิปที่สร้างขึ้นเป็นพิเศษสำหรับงานเหล่านั้น และพัฒนาซอฟต์แวร์ที่สำคัญซึ่งเอื้อต่อการพัฒนา AI
ท้าทายอำนาจของ Nvidia H100! IBM จำลองชิปเครือข่ายประสาทเทียมของสมองมนุษย์เพิ่มประสิทธิภาพ 14 เท่าและแก้ปัญหาการใช้พลังงานของโมเดล AI
แหล่งที่มาดั้งเดิม: Xinzhiyuan
เมื่อเร็วๆ นี้ IBM ได้เปิดตัวชิป AI แบบอะนาล็อกขนาด 14 นาโนเมตรใหม่ล่าสุด ซึ่งมีประสิทธิภาพมากกว่า GPU ชั้นนำถึง 14 เท่า ซึ่งสามารถทำให้ H100 คุ้มค่าเงินได้
ในปัจจุบัน อุปสรรคที่ใหญ่ที่สุดในการพัฒนา generative AI คือการใช้พลังงานที่น่าอัศจรรย์ ทรัพยากรที่จำเป็นสำหรับ AI ไม่สามารถเติบโตได้อย่างยั่งยืน
ในทางกลับกัน IBM กำลังค้นคว้าวิธีปรับเปลี่ยนการประมวลผล AI หนึ่งในความสำเร็จของพวกเขาคือการประมวลผลหน่วยความจำจำลอง/วิธีปัญญาประดิษฐ์จำลอง ซึ่งสามารถลดการใช้พลังงานได้โดยใช้คุณสมบัติหลักของโครงข่ายประสาทเทียมที่ทำงานในสมองทางชีววิทยา
วิธีการนี้ช่วยลดเวลาและความพยายามที่เราใช้ไปกับการคำนวณให้เหลือน้อยที่สุด
การผูกขาดของ Nvidia กำลังจะถูกทำลายหรือไม่?
ตามรายงานของสื่อต่างประเทศ Insider Dylan Patel หัวหน้านักวิเคราะห์ของบริษัทวิจัยเซมิคอนดักเตอร์ SemiAnalysis วิเคราะห์ว่าต้นทุนการดำเนินงานรายวันของ ChatGPT เกิน 700,000 ดอลลาร์สหรัฐ
ChatGPT ต้องใช้พลังในการประมวลผลจำนวนมากเพื่อสร้างคำตอบตามการแจ้งเตือนของผู้ใช้ ค่าใช้จ่ายส่วนใหญ่เกิดขึ้นจากเซิร์ฟเวอร์ราคาแพง
ในอนาคต ต้นทุนของโมเดลการฝึกอบรมและโครงสร้างพื้นฐานในการดำเนินงานจะเพิ่มขึ้นเรื่อยๆ
ชิปแอนะล็อกเหล่านี้สร้างขึ้นแตกต่างจากชิปดิจิทัล ซึ่งสามารถจัดการสัญญาณแอนะล็อกและเข้าใจการไล่ระดับสีระหว่าง 0 ถึง 1 แต่สำหรับสัญญาณไบนารีที่ต่างกันเท่านั้น
คอมพิวเตอร์หน่วยความจำจำลอง/AI จำลอง
และแนวทางใหม่ของไอบีเอ็มคือการจำลองการประมวลผลหน่วยความจำ หรือจำลอง AI โดยย่อ ลดการใช้พลังงานโดยใช้ประโยชน์จากคุณลักษณะสำคัญของโครงข่ายประสาทเทียมที่ทำงานในสมองทางชีววิทยา
ในสมองของมนุษย์และสัตว์อื่นๆ ความแข็งแรง (หรือ "น้ำหนัก") ของไซแนปส์จะกำหนดการสื่อสารระหว่างเซลล์ประสาท
สำหรับระบบ AI แบบอะนาล็อก IBM จะจัดเก็บน้ำหนักซินแนปติกเหล่านี้ไว้ในค่าสื่อกระแสไฟฟ้าของอุปกรณ์หน่วยความจำต้านทานระดับนาโนเมตร (เช่น PCM หน่วยความจำแบบเปลี่ยนเฟส) และใช้กฎของวงจรเพื่อลดความจำเป็นในการส่งข้อมูลอย่างต่อเนื่องระหว่างหน่วยความจำและ โปรเซสเซอร์ดำเนินการทวีคูณสะสม (MAC) - การดำเนินการหลักใน DNN
ขณะนี้ขับเคลื่อนแพลตฟอร์ม AI เจนเนอเรชั่นจำนวนมาก ได้แก่ H100 และ A100 ของ Nvidia
อย่างไรก็ตาม หาก IBM ทำซ้ำชิปต้นแบบและประสบความสำเร็จในการผลักดันเข้าสู่ตลาดมวลชน ชิปใหม่นี้อาจเข้ามาแทนที่ Nvidia ที่เป็นแกนนำใหม่ได้เป็นอย่างดี
และชิปจะเลียนแบบวิธีการทำงานของสมองมนุษย์ โดยไมโครชิปจะทำการคำนวณโดยตรงในหน่วยความจำ
ระบบของชิปสามารถบรรลุการรู้จำเสียงและการถอดเสียงพูดที่มีประสิทธิภาพ โดยมีความแม่นยำใกล้เคียงกับฮาร์ดแวร์ดิจิทัล
ชิปนี้ประสบความสำเร็จประมาณ 14 เท่า และการจำลองก่อนหน้านี้แสดงให้เห็นว่าประสิทธิภาพการใช้พลังงานของฮาร์ดแวร์นี้สูงถึง 40 เท่าถึง 140 เท่าของ GPU ชั้นนำในปัจจุบัน
การปฏิวัติ AI เชิงสร้างสรรค์นี้เพิ่งเริ่มต้นขึ้น Deep Neural Networks (DNN) ได้ปฏิวัติวงการ AI โดยได้รับความโดดเด่นด้วยการพัฒนาแบบจำลองพื้นฐานและ AI เชิงสร้างสรรค์
อย่างไรก็ตาม การใช้โมเดลเหล่านี้บนสถาปัตยกรรมการคำนวณทางคณิตศาสตร์แบบดั้งเดิมจะจำกัดประสิทธิภาพและประสิทธิภาพการใช้พลังงาน
ในขณะที่มีความคืบหน้าในการพัฒนาฮาร์ดแวร์สำหรับการอนุมาน AI สถาปัตยกรรมเหล่านี้จำนวนมากได้แยกหน่วยความจำและหน่วยประมวลผลออกจากกัน
ซึ่งหมายความว่าโดยทั่วไปโมเดล AI จะถูกจัดเก็บไว้ในตำแหน่งหน่วยความจำแยก และงานการประมวลผลจำเป็นต้องมีการสับข้อมูลอย่างต่อเนื่องระหว่างหน่วยความจำและหน่วยประมวลผล กระบวนการนี้อาจทำให้การคำนวณช้าลงอย่างมาก โดยจำกัดประสิทธิภาพการใช้พลังงานสูงสุดที่สามารถทำได้
ชิปเร่งความเร็วปัญญาประดิษฐ์ที่ใช้หน่วยความจำเปลี่ยนเฟส (PCM) ของ IBM ขจัดข้อจำกัดนี้ออกไป
หน่วยความจำเปลี่ยนเฟส (PCM) สามารถรับรู้ถึงการรวมการคำนวณและการจัดเก็บข้อมูล และดำเนินการคูณเมทริกซ์-เวกเตอร์ในหน่วยความจำได้โดยตรง หลีกเลี่ยงปัญหาในการส่งข้อมูล
ในเวลาเดียวกัน ชิป AI แบบอะนาล็อกของ IBM ตระหนักถึงความเร่งเหตุผลของปัญญาประดิษฐ์ที่มีประสิทธิภาพผ่านการประมวลผลระดับฮาร์ดแวร์และการบูรณาการพื้นที่เก็บข้อมูล ซึ่งเป็นความก้าวหน้าที่สำคัญในสาขานี้
ความท้าทายหลักสองประการในการจำลอง AI
ในการที่จะทำให้แนวคิด AI จำลองเกิดขึ้นได้นั้น จำเป็นต้องเอาชนะความท้าทายหลักสองประการ:
ความแม่นยำในการคำนวณของอาร์เรย์หน่วยความจำต้องเทียบเคียงได้กับความแม่นยำของระบบดิจิทัลที่มีอยู่
อาร์เรย์หน่วยความจำสามารถเชื่อมต่อกับหน่วยประมวลผลดิจิทัลอื่นๆ และโครงสร้างการสื่อสารดิจิทัลบนชิปปัญญาประดิษฐ์แบบอะนาล็อกได้อย่างราบรื่น
IBM ผลิตชิปเร่งปัญญาประดิษฐ์ที่ใช้หน่วยความจำแบบเปลี่ยนเฟสที่ศูนย์เทคโนโลยีในออลบานีนาโน
ชิปประกอบด้วยคอร์ประมวลผลหน่วยความจำแบบอะนาล็อก 64 คอร์ และแต่ละคอร์มียูนิตซินแนปติกแบบครอสสตริป 256×256
และเมื่อรวมเข้ากับชิปแต่ละตัวแล้ว ก็คือตัวแปลงแอนะล็อกเป็นดิจิทัลตามเวลาขนาดกะทัดรัดสำหรับการแปลงระหว่างโลกแอนะล็อกและดิจิทัล
หน่วยประมวลผลดิจิทัลน้ำหนักเบาในชิปยังสามารถทำหน้าที่กระตุ้นการทำงานของเซลล์ประสาทแบบไม่เชิงเส้นอย่างง่ายและการดำเนินการปรับขนาดได้
แต่ละคอร์ถือได้ว่าเป็นไทล์ที่สามารถทำการคูณเมทริกซ์-เวกเตอร์ และการดำเนินการอื่นๆ ที่เกี่ยวข้องกับเลเยอร์ (เช่น เลเยอร์แบบหมุนวน) ของโมเดล Deep Neural Network (DNN)
เมทริกซ์น้ำหนักจะถูกเข้ารหัสเป็นค่าสื่อกระแสไฟฟ้าจำลองของอุปกรณ์ PCM และจัดเก็บไว้ในชิป
หน่วยประมวลผลดิจิทัลระดับโลกถูกรวมไว้ตรงกลางอาร์เรย์หลักของชิปเพื่อใช้การดำเนินการที่ซับซ้อนมากกว่าการคูณเมทริกซ์-เวกเตอร์ ซึ่งมีความสำคัญอย่างยิ่งต่อการทำงานของโครงข่ายประสาทเทียมบางประเภท (เช่น LSTM)
เส้นทางการสื่อสารแบบดิจิทัลถูกรวมไว้บนชิประหว่างคอร์ทั้งหมดและหน่วยประมวลผลดิจิทัลทั่วโลกสำหรับการถ่ายโอนข้อมูลระหว่างคอร์และระหว่างคอร์และยูนิตส่วนกลาง
b: แผนผังของส่วนประกอบต่างๆ ของชิป รวมถึง 64 คอร์, หน่วยประมวลผลดิจิทัลระดับโลก 8 หน่วย และการเชื่อมโยงข้อมูลระหว่างคอร์
c: โครงสร้างของคอร์ประมวลผลในหน่วยความจำที่ใช้ PCM เดี่ยว
d: โครงสร้างของหน่วยประมวลผลดิจิทัลทั่วโลกสำหรับการคำนวณที่เกี่ยวข้องกับ LSTM
IBM ได้ทำการศึกษาที่ครอบคลุมเกี่ยวกับความแม่นยำในการคำนวณของการประมวลผลหน่วยความจำแอนะล็อกโดยใช้ชิปดังกล่าว และบรรลุความแม่นยำ 92.81% ในชุดข้อมูลภาพ CIFAR-10
b: วิธีแมปเครือข่ายนี้บนชิป
c: ความแม่นยำในการทดสอบ CIFAR-10 ที่ใช้ฮาร์ดแวร์
นี่คือความแม่นยำสูงสุดที่รายงานไว้สำหรับชิปที่ใช้เทคโนโลยีคล้ายคลึงกัน
IBM ยังผสมผสานการประมวลผลในหน่วยความจำแบบอะนาล็อกเข้ากับหน่วยประมวลผลดิจิทัลหลายหน่วยและโครงสร้างการสื่อสารดิจิทัลได้อย่างราบรื่น
การคูณเมทริกซ์อินพุต-เอาท์พุต 8 บิตของชิปมีทรูพุตพื้นที่หน่วย 400 GOPS/mm2 ซึ่งสูงกว่าชิปประมวลผลหน่วยความจำแบบมัลติคอร์รุ่นก่อนมากกว่า 15 เท่าที่ใช้หน่วยความจำแบบต้านทาน ขณะเดียวกันก็บรรลุประสิทธิภาพการใช้พลังงานได้อย่างมาก
ในงานทำนายอักขระและงานสร้างคำอธิบายประกอบรูปภาพ IBM เปรียบเทียบผลลัพธ์ที่วัดบนฮาร์ดแวร์กับวิธีอื่นๆ และสาธิตโครงสร้างเครือข่าย การเขียนโปรแกรมน้ำหนัก และผลการวัดของงานที่เกี่ยวข้องซึ่งทำงานบนชิป AI จำลอง
**คูเมือง NVIDIA ไร้ก้นบึ้ง? **
การผูกขาดของ Nvidia ถูกทำลายง่ายขนาดนั้นเลยเหรอ?
Naveen Rao เป็นผู้ประกอบการด้านประสาทวิทยาศาสตร์ที่หันมาใช้เทคโนโลยี ซึ่งพยายามแข่งขันกับ Nvidia ผู้ผลิตปัญญาประดิษฐ์ชั้นนำของโลก
“ทุกคนกำลังพัฒนาบน Nvidia” Rao กล่าว “ถ้าคุณต้องการเปิดตัวฮาร์ดแวร์ใหม่คุณต้องตามให้ทันและแข่งขันกับ Nvidia”
Rao ทำงานเกี่ยวกับชิปที่ออกแบบมาเพื่อแทนที่ GPU ของ Nvidia ในสตาร์ทอัพที่ Intel ซื้อกิจการ แต่หลังจากออกจาก Intel เขาใช้ชิปของ Nvidia ใน MosaicML ซึ่งเป็นสตาร์ทอัพด้านซอฟต์แวร์ที่เขาเป็นผู้นำ
Rao กล่าวว่า Nvidia ไม่เพียงเปิดช่องว่างขนาดใหญ่กับผลิตภัณฑ์อื่นๆ บนชิปเท่านั้น แต่ยังสร้างความแตกต่างภายนอกชิปด้วยการสร้างชุมชนโปรแกรมเมอร์ AI ขนาดใหญ่ ——
โปรแกรมเมอร์ AI ใช้เทคโนโลยีของบริษัทเพื่อสร้างสรรค์สิ่งใหม่ๆ
อดีตอุตสาหกรรมที่ก้าวกระโดดสามารถครองความเป็นผู้นำในการผลิตชิป AI ได้ เนื่องจากยอมรับแนวโน้มของ AI ตั้งแต่เนิ่นๆ ชิปที่สร้างขึ้นเป็นพิเศษสำหรับงานเหล่านั้น และพัฒนาซอฟต์แวร์ที่สำคัญซึ่งเอื้อต่อการพัฒนา AI
ตั้งแต่นั้นมา Jensen Huang ผู้ร่วมก่อตั้งและซีอีโอของ Nvidia ได้ยกระดับมาตรฐานของ Nvidia
ในขณะที่ Google, Amazon, Meta, IBM และบริษัทอื่นๆ ต่างก็ผลิตชิป AI เช่นกัน แต่ปัจจุบัน Nvidia มีสัดส่วนมากกว่า 70% ของยอดขายชิป AI ตามรายงานของบริษัทวิจัย Omdia
ในเดือนมิถุนายนของปีนี้ มูลค่าตลาดของ Nvidia เกินกว่า 1 ล้านล้านดอลลาร์ ทำให้เป็นผู้ผลิตชิปที่มีมูลค่ามากที่สุดในโลก
NVIDIA โฉมใหม่วิธีการประมวลผล
Jensen Huang ร่วมก่อตั้ง Nvidia ในปี 1993 โดยผลิตชิปที่แสดงภาพในวิดีโอเกม ไมโครโปรเซสเซอร์มาตรฐานในขณะนั้นเก่งในการคำนวณที่ซับซ้อนตามลำดับ แต่ Nvidia สร้าง GPU ที่สามารถจัดการงานง่ายๆ หลายงานพร้อมกันได้
ในปี 2549 Jensen Huang ได้ก้าวไปอีกขั้นของกระบวนการ เขาเปิดตัวเทคโนโลยีซอฟต์แวร์ที่เรียกว่า CUDA ซึ่งช่วยให้ตั้งโปรแกรม GPU สำหรับงานใหม่ โดยเปลี่ยน GPU จากชิปเอนกประสงค์ให้เป็นชิปเอนกประสงค์ที่สามารถทำงานอื่นในสาขาต่างๆ เช่น การจำลองฟิสิกส์และเคมี
ความพยายามนี้ซึ่ง Nvidia ประมาณการว่ามีค่าใช้จ่ายมากกว่า 3 หมื่นล้านดอลลาร์ในช่วงทศวรรษที่ผ่านมา ทำให้ Nvidia เป็นมากกว่าซัพพลายเออร์ชิ้นส่วน นอกเหนือจากการร่วมมือกับนักวิทยาศาสตร์ชั้นนำและสตาร์ทอัพแล้ว บริษัทยังได้รวบรวมทีมงานที่เกี่ยวข้องโดยตรงในกิจกรรม AI เช่น การสร้างและฝึกอบรมโมเดลภาษา
นอกจากนี้ ความต้องการของผู้ปฏิบัติงานทำให้ Nvidia พัฒนาซอฟต์แวร์หลักหลายชั้นนอกเหนือจาก CUDA ซึ่งรวมถึงไลบรารีโค้ดที่สร้างไว้ล่วงหน้าหลายร้อยบรรทัดด้วย
ในด้านฮาร์ดแวร์ Nvidia ได้รับชื่อเสียงในด้านการส่งมอบชิปที่เร็วขึ้นอย่างต่อเนื่องทุกๆ สองหรือสามปี ในปี 2560 Nvidia เริ่มปรับแต่ง GPU เพื่อรองรับการคำนวณ AI เฉพาะ
เมื่อเดือนกันยายนปีที่แล้ว Nvidia ได้ประกาศว่าจะผลิตชิปตัวใหม่ที่เรียกว่า H100 ซึ่งได้รับการปรับปรุงเพื่อรองรับการทำงานของ Transformer การคำนวณดังกล่าวได้รับการพิสูจน์แล้วว่าเป็นพื้นฐานของบริการต่างๆ เช่น ChatGPT ซึ่ง Huang เรียกว่า "ช่วงเวลาของ iPhone" ของ generative AI
เป็นไปได้สำหรับชิป AI แบบอะนาล็อกของ IBM หรือไม่
อ้างอิง: