Xiaomi รุ่นใหญ่ ไม่มีส่วนร่วมใน "ChatGPT"

ที่มา: Shen Ran, ผู้แต่ง: Jin Yufan, He Shulong, บรรณาธิการ: He Shulong

แหล่งที่มาของรูปภาพ: สร้างโดยเครื่องมือ Unbounded AI

ครึ่งปีหลังการเปิดตัว ChatGPT การไล่ล่าแบบจำลองขนาดใหญ่ยังคงจัดแสดงอยู่ทั้งสองฝั่งของมหาสมุทรแปซิฟิก

พันธมิตรที่ก่อตั้งโดย OpenAI, Microsoft และ Nvidia กำลังดำเนินไปอย่างดุเดือดบนชายฝั่งตะวันออกของมหาสมุทรแปซิฟิก ตั้งแต่เดือนมีนาคมปีนี้ บริษัท เทคโนโลยีของจีนได้ดำเนินการตามอย่างเร่งด่วน Baidu, Ali, SenseTime และ iFLYTEK ได้เปิดตัวผลิตภัณฑ์ "ChatGPT-like" อย่างต่อเนื่อง Tencent, Huawei และ JD ครั้งยังเป็นโอกาสที่ "ใหญ่กว่าสิบเท่า"

ในช่วงเวลาของ "สงคราม Hundred Models" Xiaomi ในฐานะบริษัทเทคโนโลยีในประเทศขนาดใหญ่ ดูเหมือนจะสงบเป็นพิเศษ

Lei Jun หัวหน้า Xiaomi กล่าวว่า Xiaomi กำลังพัฒนาเทคโนโลยีและผลิตภัณฑ์บางอย่าง และจะสาธิตให้ทุกคนเห็นหลังจากขัดเงาแล้ว Lu Weibing ประธาน Xiaomi Group กล่าวว่าปัจจุบัน Xiaomi มีทีม AI มากกว่า 1,200 คน และจะใช้งานโมเดลขนาดใหญ่อย่างแข็งขันและรวมเข้ากับธุรกิจเชิงลึก แต่จะไม่สร้างโมเดลขนาดใหญ่ที่ใช้งานทั่วไปเช่น OpenAI .

ข้อมูลเหล่านี้ทำให้ข้อสงสัยของโลกภายนอกลึกลงไป: Xiaomi จะเข้าร่วม "Hundred Models War" หรือไม่?

ดร. Wang Bin ผู้อำนวยการ AI Lab ของ Xiaomi Group กล่าวกับ Shenran ว่า Xiaomi จะพัฒนาโมเดลที่ใช้งานทั่วไปของตัวเอง แต่จะไม่ปล่อยผลิตภัณฑ์ที่เหมือน ChatGPT เพียงอย่างเดียว "และจะไม่ปล่อย PPT หรือสาธิต ตัวอย่างเล็กๆ น้อยๆ สมมติว่าเรามีโมเดลขนาดใหญ่” แต่ในที่สุดโมเดลขนาดใหญ่ที่พัฒนาขึ้นเองจะถูกดึงออกมาโดยผลิตภัณฑ์

นับเป็นครั้งแรกที่มีการเปิดเผยเส้นทางและความคืบหน้าของรุ่นใหญ่สู่โลกภายนอก หลังจากที่ Xiaomi ประกาศตั้งทีมรุ่นใหญ่อย่างเป็นทางการ เมื่อวันที่ 14 เมษายนปีนี้ Xiaomi ประกาศว่าทีมโมเดลขนาดใหญ่จะนำโดย Luan Jian และรายงานต่อ Wang Bin Wang Bin มีส่วนร่วมในการวิจัยและพัฒนาที่เกี่ยวข้องกับ NLP (Natural Language Processing) ใน Chinese Academy of Sciences มานานกว่า 20 ปี เขาร่วมงานกับ Xiaomi ในปี 2018 และรับผิดชอบห้องปฏิบัติการ AI ตั้งแต่ปี 2019 AI Lab เป็นแผนกหลักของกลยุทธ์ AI ของ Xiaomi

Xiaomi ผู้ซึ่งสร้างแบบจำลองการสนทนาขนาดใหญ่เป็นผู้มีเหตุผลที่หาได้ยากในแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนไว้ล่วงหน้าเพื่อวัตถุประสงค์ทั่วไป วังบินเปิดเผยว่า ปัจจุบันมีทีมโมเดลขนาดใหญ่เต็มเวลามากกว่า 30 ทีม และจะไม่ขยายอย่างรวดเร็วในทันที เป้าหมายของทีมนี้ยังคงเป็นโมเดลภาษาขนาดใหญ่ และพารามิเตอร์โมเดลฐานเป้าหมาย ของก้าวแรกนับหมื่นล้าน** และจากนั้นขึ้นอยู่กับผลการปีนเขาครั้งก่อน ขั้นต่อไปจะถูกตัดสิน

"ยังมีหนทางอีกยาวไกลจากการพัฒนาโมเดลขนาดใหญ่ไปจนถึงการลงจอด ไม่ว่าพวกเขาจะสามารถหาฉากสำคัญที่เหมาะสมได้หรือไม่นั้นถือเป็นปัญหาสำหรับบริษัทโมเดลขนาดใหญ่หลายแห่ง" ในมุมมองของ Wang Bin ข้อได้เปรียบของ Xiaomi ก็คือ มันมีโมเดลขนาดใหญ่สำเร็จรูปเพียงพอ สถานการณ์ Landing เช่น Xiao Ai, loT, การขับขี่อัตโนมัติ, หุ่นยนต์ ฯลฯ สถานการณ์การใช้งานที่หลากหลายยังสามารถดึงความสามารถของโมเดลขนาดใหญ่กลับมาได้

Xiaomi ไม่มีปัญหาการขาดแคลนสถานการณ์ แต่ในการฝึกฝนโมเดลขนาดใหญ่ การรวบรวมข้อมูล พลังการประมวลผล และความสามารถพิเศษเป็นสิ่งที่ขาดไม่ได้ Wang Bin กล่าวว่า Xiaomi มีความสามารถสำรองอยู่บ้าง และความท้าทายในแง่ของพลังการประมวลผลและปริมาณข้อมูลนั้นค่อนข้างใหญ่ ในแง่หนึ่ง พลังการประมวลผลจำเป็นต้องเอาชนะความท้าทายระดับระบบ และต้องควบคุมค่าใช้จ่ายในการฝึกอบรม ในทางกลับกัน ต้องใช้เวลาและค่าใช้จ่ายจำนวนมากในการรับและล้างข้อมูลคุณภาพสูง

ในคลื่นลูกใหม่ของ AI รุ่นใหญ่ เหตุใดทีม AI ของ Xiaomi จึงไม่เปิดตัว "ผลิตภัณฑ์ที่คล้ายกับ ChatGPT" Xiaomi ตัดสินเส้นทางทางเทคนิคและความยากทางเทคนิคของรุ่นใหญ่อย่างไร เมื่อไม่กี่วันที่ผ่านมา He Shulong หัวหน้าบรรณาธิการของ Shenran ได้มีการพูดคุยกับ Wang Bin ผู้อำนวยการห้องปฏิบัติการ AI ของคณะกรรมการด้านเทคนิคของ Xiaomi ต่อไปนี้เป็นเนื้อหาหลัก:

Xiaomi รุ่นใหญ่: 30 คนในทีมไม่มี "ChatGPT-like"

**Shen Ran: เมื่อวันที่ 14 เมษายน Xiaomi ได้แต่งตั้ง Luan Jian เป็นหัวหน้าทีมโมเดลขนาดใหญ่เพื่อรายงานให้คุณทราบ คุณบอกเราได้ไหมว่าทีมรุ่นใหญ่ของ Xiaomi ถือกำเนิดขึ้นได้อย่างไร? **

Wang Bin: ทีมโมเดลใหญ่ได้รับการประกาศในเดือนเมษายน แต่ได้เริ่มดำเนินการก่อนหน้านั้นแล้ว

เมื่อวันที่ 30 พฤศจิกายนปีที่แล้ว หลังจากที่ OpenAI เปิดตัว ChatGPT พวกเราหลายคนก็รีบลงทะเบียนบัญชีและเริ่มเล่นบนนั้น ChatGPT นั้นถูกโค่นล้มจริง ๆ เราทำงานเกี่ยวกับ AI มาหลายปีแล้ว และความสามารถหลายอย่างก็เกินความคาดหมายของนักพัฒนาของเรา

เร็วๆ นี้ เราจัดกลุ่มการสื่อสารแบบจำลองขนาดใหญ่ภายในหลายกลุ่มเพื่อหารือเกี่ยวกับเทคโนโลยีแบบจำลองขนาดใหญ่และผลกระทบที่ก่อกวนต่อการแปลด้วยเครื่อง บทสนทนาระหว่างคนกับเครื่องจักร การตอบคำถามอัจฉริยะ และการบริการลูกค้า **ผู้คนจำนวนมากที่เข้าร่วมเวิร์กช็อปช่วงแรกๆ ได้กลายเป็นสมาชิกคนสำคัญของทีมจำลองการทำงานเต็มเวลา **

**Shen Ran: ทีมโมเดลขนาดใหญ่ของ Xiaomi จะมาช้าไปไหม? **

Wang Bin: สำหรับรุ่นใหญ่ เราอยู่ในโรงเรียนเหตุผล

ก่อนการถือกำเนิดของ ChatGPT Xiaomi ได้ทำการวิจัยและพัฒนาภายในและการประยุกต์ใช้โมเดลขนาดใหญ่ โดยส่วนใหญ่อยู่ในรูปแบบของการฝึกอบรมล่วงหน้า + การดูแลงานขั้นปลาย และการปรับแต่งสำหรับการสนทนาระหว่างคนกับเครื่องจักร และพารามิเตอร์ของโมเดลนั้นอยู่ใน พันล้าน แน่นอนว่าโมเดลประเภทนี้ไม่ใช่โมเดลขนาดใหญ่สำหรับใช้งานทั่วไปอย่างที่เรียกกันในปัจจุบัน

เราชัดเจนมากว่าการพัฒนาและประยุกต์ใช้โมเดลขนาดใหญ่ทั่วไปเป็นงานระยะยาว ไม่ใช่เรื่องของเวลา เรากำลังเดินตามแผนเวลาและขั้นตอนของเราเอง ขณะนั้น เรารู้สึกว่าหมดเวลาแล้วจึงได้ปล่อยตัวทีมงาน

**Shen Ran: มีกี่คนในทีมรุ่นใหญ่? มีแผนที่จะขยายต่อไปหรือไม่? **

Wang Bin: ปัจจุบันทีมหลักมีมากกว่า 30 คน ขณะนี้เรากำลังเตรียมการตามลักษณะของความสามารถ ข้อมูล แบบจำลอง พลังการประมวลผล การประเมิน และผลิตภัณฑ์ จากนั้นจึงค่อยๆ ปรับหรือขยายหลังจากขั้นตอนหนึ่ง

เราจะไม่ขยายจำนวนทันที เช่น รับสมัคร 100 คนในครั้งเดียว เพราะอยู่ในช่วงไต่ระดับสะสมกำลัง สรรหามา หลายคนอาจจะไม่รู้ว่าจัดยังไง แต่ก็เสียเปล่า

ด้วยการเปิดเผยข้อมูลอย่างต่อเนื่องเกี่ยวกับโมเดลขนาดใหญ่และการไหลเข้าของเงินทุนและความสามารถอย่างต่อเนื่อง สาขาของโมเดลขนาดใหญ่จึงพัฒนาอย่างรวดเร็ว และมุมมองของทุกคนก็เปลี่ยนไปอย่างมาก เมื่อ ChatGPT เปิดตัวครั้งแรกไม่นานมานี้ ทุกคนรู้สึกว่าโดยพื้นฐานแล้วเป็นไปไม่ได้เลยที่จะสร้างแบบจำลองขนาดใหญ่ที่คล้ายกัน แต่อย่างช้าๆ หลายคนรู้สึกว่ามีความเป็นไปได้สูงมาก และบางคนเชื่อว่าผลิตภัณฑ์จำนวนมากสามารถพึงพอใจได้หากไม่มีสิ่งนี้ แบบจำลองขนาดใหญ่ ความต้องการ ความเข้มข้นในการลงทุนของทุกคนก็แตกต่างกันมากเช่นกัน บางคนอาจคิดว่าทีมต้องการคนอย่างน้อยสองสามร้อยคนและบางคนคิดว่าไม่จำเป็น

**Shenran: มีแผนแบ่งระยะสำหรับอนาคตหรือไม่ เมื่อไรจึงจะทดสอบภายในและเผยแพร่ภายนอก **

Wang Bin: แตกต่างจากบริษัทอื่นๆ Xiaomi เกิดมาพร้อมกับคุณลักษณะของผลิตภัณฑ์ ฉันเชื่อว่า เมื่อ Xiaomi รุ่นใหญ่ออกมา ผลิตภัณฑ์จะถูกนำออกมา

เราอาจทำการทดสอบภายในก่อนไตรมาสที่ 3 อย่างไรก็ตาม นี่ไม่ใช่โหนดที่หลีกเลี่ยงไม่ได้

**Shen Ran: กล่าวอีกนัยหนึ่ง Xiaomi จะไม่ปล่อยผลิตภัณฑ์ที่เหมือน ChatGPT? **

Wang Bin: ใช่ เราจะไม่เผยแพร่ PPT หรือแสดงให้เห็นว่าเรามีแบบจำลองขนาดใหญ่ สถานการณ์แอปพลิเคชันที่หลากหลายเป็นข้อได้เปรียบที่ใหญ่ที่สุดของเรา **รุ่น Xiaomi ขนาดใหญ่จะผสานเข้ากับฉากอย่างใกล้ชิดมากขึ้น และแผนการเปิดตัวที่สอดคล้องกันจะต้องจัดทำขึ้นตามจังหวะของผลิตภัณฑ์ **

**Shenran: นอกเหนือจากกำลังคนแล้ว Xiaomi มีค่าใช้จ่ายด้านการประมวลผลเท่าใดสำหรับการสร้างแบบจำลองขนาดใหญ่ **

Wang Bin: เราเป็นการลงทุนขนาดกลาง และเราจะตัดสินใจเกี่ยวกับขั้นตอนต่อไปของการลงทุนโดยพิจารณาจากผลลัพธ์ของการไต่ระดับครั้งก่อน

การพิจารณาขั้นพื้นฐานของเราคือรุ่นที่เหมาะสมสำหรับผลิตภัณฑ์และธุรกิจ Xiaomi อาจมีพารามิเตอร์หลายหมื่นล้าน** ซึ่งจะต่ำกว่าขนาด 100 พันล้านเหรียญ และการลงทุนในเครื่องฝึกอบรมมีมูลค่าประมาณ 10 ล้านหยวน

**Shen Ran: โมเดลที่มีพารามิเตอร์นับพันล้านที่สร้างโดย Xiaomi ก่อนหน้านี้เป็นอย่างไร **

**Wang Bin: **ChatGPT ที่เปิดตัวเมื่อปีที่แล้วเป็นโมเดลขนาดใหญ่ที่เรียกว่าโมเดลขนาดใหญ่สำหรับภาษาที่ฝึกไว้ล่วงหน้าสำหรับวัตถุประสงค์ทั่วไป แต่รุ่นใหญ่นั้นปรากฏตัวเร็วมากและทุกคนมีเส้นทางและวิธีการที่แตกต่างกัน

เราเริ่มติดตามโมเดลขนาดใหญ่ก่อนหน้านี้ ในเวลานั้น เราสร้างโมเดลเฉพาะบทสนทนาที่มีพารามิเตอร์ประมาณ 2.8 พันล้านถึง 3 พันล้านพารามิเตอร์ เป็นจริงได้โดยการปรับแต่งข้อมูลการสนทนาตามโมเดลพื้นฐานที่ฝึกไว้ล่วงหน้า ไม่ใช่ โมเดลขนาดใหญ่ที่ใช้งานทั่วไปในปัจจุบันแต่มีไว้สำหรับการสนทนาระหว่างคนกับเครื่องจักรโดยเฉพาะ เรื่องเพศ ปล่อยให้มันดำเนินต่อไป ต่อมา โมเดลนี้ได้เปิดตัวกับ Xiaoai และทำการทดสอบออนไลน์ขนาดเล็ก

ดังนั้น AIGC จึงถูกนำมาใช้ใน Xiao Ai แล้ว แต่ในระดับผลิตภัณฑ์ เราไม่ได้ใช้โมเดลขนาดใหญ่นี้ทั้งหมด แต่ใช้การเติมเต็มของโมเดลแบบดั้งเดิมและโมเดลการสนทนาขนาดใหญ่เพื่อใช้ทั้งสองอย่างร่วมกัน

รุ่นใหญ่ที่ใช้งานทั่วไปของ Xiaomi น่าจะเป็นรุ่นไฮบริดนี้เมื่อเปิดตัวในผลิตภัณฑ์ ปัญหาที่รุ่นดั้งเดิมจัดการได้ดีมากจะถูกส่งต่อไปยังรุ่นดั้งเดิม แบบจำลองขนาดใหญ่ช่วยแก้ปัญหาที่ทำได้ดี เช่น เหตุการณ์ความน่าจะเป็นขนาดเล็กหรือบทสนทนาหางยาว

ระดับการสนทนาของโมเดลขนาดใหญ่สำหรับวัตถุประสงค์ทั่วไปที่ออกมาในขณะนี้นั้นสูงกว่าของโมเดลขนาดใหญ่สำหรับวัตถุประสงค์ทั่วไปในการสนทนาก่อนหน้านี้อย่างมาก ดังนั้นทีมงานส่วนนี้จึงได้ถ่ายโอนไปยังโมเดลขนาดใหญ่สำหรับวัตถุประสงค์ทั่วไปด้วย ทีมนี้ผ่านกระบวนการฝึกอบรมทั้งหมดของแบบจำลองการสนทนาขนาดใหญ่ ปีนข้ามหลุมพราง และด้วยการสะสมของข้อมูล ทำให้มีข้อได้เปรียบบางประการ

ข้าวฟ่างรุ่นใหญ่: ฉากเด่น และข้อมูลเป็นปัญหา

**Shenran: ในช่วงเวลานี้ ความก้าวหน้าทางเทคโนโลยีเป็นไปอย่างรวดเร็ว และโมเดลขนาดใหญ่ในประเทศกำลังเปิดตัวอย่างเข้มข้น คุณจะกังวลเพราะความคืบหน้าที่ช้าหรือไม่? **

Wang Bin: เมื่อก่อนฉันค่อนข้างวิตกอยู่พักหนึ่ง เพราะฉันค่อนข้างตื่นตระหนกนิดหน่อยหากไม่ได้ทำมันตลอดเวลา และคุณจะคิดว่า “คนอื่นจะก้าวหน้าอย่างรวดเร็วได้อย่างไรและ เสร็จในคราวเดียว?” ทีนี้ก็ลงไปทำเลย ไม่ต้องห่วง

กล่าวกันว่าตอนนี้จีนกำลังเกิด "สงครามร้อยโมเดล" และมีการเปิดตัวโมเดลขนาดใหญ่กว่า 80 โมเดล ซึ่งบางโมเดลมีการทดสอบภายใน และบางโมเดลเปิดตัวโดย PPT เท่านั้น เอฟเฟ็กต์ของบางรุ่นยังคงดีอยู่เมื่อพิจารณาจากระดับของการเปิดตัวแล้วระดับของโมเดลขนาดใหญ่ที่พัฒนาด้วยตนเองของเราดูเหมือนจะไม่แย่ไปกว่าโมเดลหลายๆ รุ่น แต่เราไม่รีบเร่งที่จะเปิดตัวภายนอก อย่างแรกสำหรับบริษัทอย่าง Xiaomi มันไม่สมเหตุสมผลเลย ประการที่สอง เรายังคงหวังว่าจะทำให้โมเดลที่พัฒนาขึ้นเองดีขึ้นเกี่ยวกับผลิตภัณฑ์ แล้วจึงเปิดตัวพร้อมกัน

**Shenran: คุณคิดว่าบริษัทในประเทศรุ่นใหญ่มีโอกาสทัน OpenAI หรือไม่ ช่องว่างใหญ่แค่ไหน? พวกเขาชอบใช้สามเดือนหกเดือนในการอธิบาย **

Wang Bin: ในปัจจุบัน OpenAI จะต้องก้าวหน้ามาก โดยได้ลงทุนตั้งแต่เนิ่นๆ และสั่งสมความสามารถ ข้อมูล พลังคอมพิวเตอร์ วิศวกรรม และผลิตภัณฑ์อย่างแข็งแกร่ง จากสถานการณ์ในประเทศฉันรู้สึกว่ายังมีช่องว่างระหว่าง OpenAI และ OpenAI บางคนบอกว่าเป็นเวลาสามเดือนหรือหกเดือนในขณะที่บางคนบอกว่าเป็นเวลาหนึ่งปีหรือสองปี เรื่องเวลาพูดยากครับ

เพราะวิธีการประเมินแบบจำลองขนาดใหญ่นั้นเป็นโจทย์ที่ยากมากในตัวมันเอง ขณะนี้มีการจัดอันดับของรุ่นใหญ่ต่างๆ แต่ไม่มีใครได้รับการยอมรับอย่างเป็นเอกฉันท์จากทุกคน **ไม่มีมาตรฐานการประเมินที่แท้จริง ดังนั้นการพูดให้ทันในสามเดือนหรือหกเดือนจึงเป็นเพียงการตบหน้า **

สำหรับความเป็นไปได้ที่จีนจะตามทัน OpenAI นั้น ในช่วงแรกผมมองโลกในแง่ร้ายและคิดว่าแทบจะเป็นไปไม่ได้เลย แต่ด้วยการหลั่งไหลของโซลูชั่นโอเพ่นซอร์สต่างๆ ทีมต่างๆ และทุน การตัดสินของผมจึงมองโลกในแง่ดีมากขึ้น ผมคิดว่าจีนมีโอกาสที่จะจำกัดระยะทางด้วย OpenAI เพื่อเข้าใกล้หรือเหนือกว่าในหลาย ๆ สถานการณ์

**โมเดลขนาดใหญ่ดูเหมือนจะไม่มีเกณฑ์สูงสำหรับชิป ด้วยการสะสมและเพิ่มประสิทธิภาพอย่างต่อเนื่องของความสามารถพิเศษ ข้อมูล พลังการประมวลผล ฯลฯ จึงเป็นไปได้ที่จะลดช่องว่างลงอย่างต่อเนื่อง **

**Shenran: บริษัทในประเทศประเภทใดมีข้อได้เปรียบมากกว่าในโมเดลขนาดใหญ่ โอกาสของ Xiaomi อยู่ที่ไหน? **

Wang Bin: ไม่ว่าบริษัทขนาดใหญ่หรือบริษัทเริ่มต้นขนาดกลางและขนาดย่อม ต่างก็มีพื้นที่ใช้สอยของตนเอง โมเดลขนาดใหญ่คือระบบนิเวศและไม่ใช่โมเดลขนาดใหญ่เพียงอันเดียวที่จะสามารถจัดการได้ทั้งหมด ทุกบริษัทใน ระบบนิเวศ รวมถึงพลังการประมวลผล ข้อมูล แอปพลิเคชัน และบริษัทที่สร้างโมเดลขนาดใหญ่จริงๆ มีโอกาสของตัวเอง

รุ่นขนาดใหญ่เช่น Xiaomi มีข้อได้เปรียบจากสถานการณ์การใช้งาน เราเชื่อว่าการรวมกันของโมเดลและฉากขนาดใหญ่จะเป็นโอกาสที่ยิ่งใหญ่

เพราะถ้าปล่อยรุ่นใหญ่แล้วไม่มีคนใช้ ก็คงพัฒนาได้ไม่เร็วแบบโรลลิ่ง และเราสามารถลงจอดบนฉากได้ทันที และด้วยการวนซ้ำอย่างต่อเนื่อง เราสามารถแสดงพลังของโมเดลขนาดใหญ่ในฉากเหล่านี้ได้อย่างเต็มที่

แม้ว่าตอนนี้เราจะรวมทีมหลักที่มีมากกว่า 30 คนเท่านั้น แต่มีคนจำนวนมากที่อยู่รอบนอก ในห้องปฏิบัติการ AI ทั้งหมด มีบุคลากรมากกว่า 100 คนที่มีพื้นฐานด้าน NLP และกำลังใช้งานแอปพลิเคชันเฉพาะ รวมถึงกราฟความรู้ การแปลด้วยคอมพิวเตอร์ การสนทนาระหว่างคนกับเครื่องจักร การบริการลูกค้าอัจฉริยะ และการตอบคำถามอัจฉริยะ พวกเขาล้วนเป็นคนที่มีพื้นฐานความคิดเกี่ยวกับโมเดลขนาดใหญ่และเทคโนโลยีที่เกี่ยวข้อง และกำลังส่งเสริมการสำรวจโมเดลขนาดใหญ่จากมุมมองของการใช้งานที่เกี่ยวข้อง

วังบิน

**Shen Ran: การสะสมของ Xiaomi ในการวิจัย NLP ไปจนถึงโมเดลขนาดใหญ่นั้นมีค่าเพียงใด **

Wang Bin: มีสองความคิดเห็นในอุตสาหกรรมนี้ วิธีหนึ่งในการพูดคือพวกเราอาจไม่มีงานทำ และ AI ได้ฆ่าเรา โดยเฉพาะผู้ที่ทำ NLP อาจไม่มีงานทำ มีคำกล่าวที่ว่า ท้ายที่สุดแล้ว โมเดลขนาดใหญ่นั้นสร้างมาจาก NLP และผู้ที่ทำ NLP ก็มีข้อได้เปรียบโดยธรรมชาติ

ข้อความทั้งสองนี้มีความจริงอยู่บ้าง แต่ท้ายที่สุดแล้ว มันเกี่ยวข้องกับงานของฉัน ฉันชอบข้อความหลังมากกว่า

เดิมมีการสำรวจแบบจำลองขนาดใหญ่ในด้านต่างๆ รวมถึงการมองเห็น การพูด และ NLP แต่ทำไมมันถึงเป็นความก้าวหน้าครั้งแรกในด้าน NLP ฉันเชื่อว่ามีเหตุผลสำคัญสำหรับสิ่งนี้ ฉันเข้าใจอย่างน้อยสองประเด็น: ประการแรกคือความสมบูรณ์และความพร้อมใช้งานของข้อมูลภาษาได้ง่าย และประการที่สองคือมีความรู้มากมายที่สะท้อนถึงกระบวนการคิดของมนุษย์ที่ซ่อนอยู่หลังข้อมูลภาษา

ดังนั้นฉันจึงเชื่อว่าคนที่สะสมในสาขา NLP เป็นเวลาหลายปีมีข้อได้เปรียบโดยธรรมชาติบางอย่างในการทำความเข้าใจและเปลี่ยนแปลงแบบจำลองขนาดใหญ่ สมาชิกหลายคนในทีมโมเดลขนาดใหญ่ของ Xiaomi เดิมเคยทำงานในทิศทางของ NLP บริษัทสตาร์ทอัพหลายแห่งที่เก่งมากในการสร้างโมเดลขนาดใหญ่ในจีนก็ออกจากสาขา NLP เช่นกัน

**Shen Ran: อะไรคือความยากลำบากในปัจจุบันที่ Xiaomi จะเอาชนะรุ่นใหญ่ได้? จะเอาชนะได้อย่างไร? **

Wang Bin: ก่อนอื่น ฉันยังอยากจะบอกว่าโมเดลขนาดใหญ่นั้นมีความท้าทายอย่างมาก

ความท้าทายอย่างมากคือความไม่แน่นอนของ เทคโนโลยี เราได้เห็นรายงานบางฉบับแล้ว และแม้แต่ทีม OpenAI เองก็ยังไม่ชัดเจนเกี่ยวกับหลักการที่แท้จริงเบื้องหลังโมเดลขนาดใหญ่ และหากพวกเขาทำอีกครั้ง พวกเขาไม่แน่ใจว่าจะเกิดผลลัพธ์ "ฉุกเฉิน" เหมือนเดิมหรือไม่ ฉันเชื่อว่า OpenAI กำลังพูดความจริงในประเด็นนี้เนื่องจากความไม่แน่นอนอย่างมากในด้านเทคโนโลยีการลงทุนจึงไม่สามารถรับประกันได้ว่าจะสามารถฝึกอบรมโมเดลขนาดใหญ่ที่ตรงตามความคาดหวังได้

การรวบรวมข้อมูลคุณภาพสูงก็เป็นสิ่งที่ท้าทายเช่นกัน เป็นที่เชื่อกันโดยทั่วไปว่าโมเดลขนาดใหญ่ต้องการข้อมูลการฝึกอบรมขนาดใหญ่และคุณภาพสูงมาก คุณภาพของข้อมูลที่เปิดเผยต่อสาธารณะทางอินเทอร์เน็ตโดยทั่วไปค่อนข้างแย่ ดังนั้นการได้มาและล้างข้อมูล ** จึงเป็นความท้าทายที่ค่อนข้างใหญ่ **

ความท้าทายอีกอย่างคือ กำลังคอมพิวเตอร์ ประการแรก มันไม่ได้หมายความว่ามีการ์ดมากมายที่สามารถฝึกฝนได้ วิธีใช้ การ์ดเหล่านี้ให้เกิดประโยชน์เป็นความท้าทายระดับระบบในตัวเอง ประการที่สอง เนื่องจากอาจเกิดความผิดพลาดระหว่างกระบวนการฝึกอบรม เงินอาจถูกเผาและไม่สามารถเผาอะไรได้ ดังนั้นขึ้นอยู่กับว่าคุณมีความสามารถในการฝึกโมเดลขนาดใหญ่ด้วยต้นทุนที่ควบคุมได้หรือไม่

ในทางปฏิบัติแล้ว ความท้าทายในปัจจุบันของ ** ข้อมูลและพลังการประมวลผลยังคงมีค่อนข้างมาก โดยเฉพาะข้อมูลขนาดใหญ่คุณภาพสูง ** หลังจากการไต่ระดับไปก่อนหน้านี้ ตอนนี้เรามั่นใจโดยพื้นฐานแล้วว่า ตราบใดที่ข้อมูลยังคงอยู่และใช้พลังการประมวลผลที่มีอยู่ เราน่าจะรู้ได้ว่าจะต้องใช้เวลากี่วันในการฝึกโมเดลพื้นฐานที่ดี

**Shenran: ค่าใช้จ่ายในการฝึกอบรมแบบจำลองขนาดใหญ่ลดลงแล้วหรือยัง? **

Wang Bin: ในแง่หนึ่ง ค่าใช้จ่ายในการลองผิดลองถูกต่ำกว่าเมื่อก่อน เนื่องจากการฝึกรุ่นใหญ่อาจอ้อมและล้มเหลว แต่ด้วยการเปิดเผยข้อมูลต่างๆ ทำให้สามารถหาทิศทางการฝึกที่ถูกต้องได้อย่างรวดเร็ว ในทางกลับกัน คลาวด์คอมพิวติ้ง ชิป และบริษัทอื่นๆ ตลอดจนบริษัทสตาร์ทอัพหลายแห่งกำลังให้บริการฝึกอบรมและอนุมานแบบจำลองขนาดใหญ่ที่มีต้นทุนต่ำกว่า ด้วยการพัฒนาเพิ่มเติมของระบบนิเวศวิทยาทั้งหมด ฉันเชื่อว่าค่าใช้จ่ายในการฝึกอบรมจะลดลงอย่างต่อเนื่อง

รุ่นใหญ่มีผลกับธุรกิจของ Xiaomi อย่างไร?

**Shen Ran: คุณสามารถแนะนำ Xiaomi AI Lab ที่คุณรับผิดชอบโดยละเอียดได้หรือไม่? **

Wang Bin: หลังจากเกิด "AlphaGo" ในปี 2559 คุณ Lei ได้ส่งเสริมการสร้างทีม AI ทันที AI Lab ก่อตั้งขึ้นอย่างเป็นทางการในปี 2559 และผมรับผิดชอบมาตั้งแต่ปี 2562

ปรากฎว่า AI Lab เป็นส่วนหนึ่งของกระทรวงปัญญาประดิษฐ์ ต่อมาแผนกปัญญาประดิษฐ์ถูกรวมเข้ากับคณะกรรมการด้านเทคนิคของกลุ่ม และตอนนี้ AI Lab อยู่ภายใต้คณะกรรมการด้านเทคนิคโดยตรง

ขนาดทีมปัจจุบันของ AI Lab อยู่ที่ประมาณ 350 คน และมีหกทิศทาง ได้แก่ การเรียนรู้ของเครื่อง การประมวลผลภาษาธรรมชาติ (NLP) คอมพิวเตอร์วิทัศน์ อะคูสติก คำพูด และกราฟความรู้

หลังจากรุ่นใหญ่ออกมา AI Lab ได้จัดตั้งทีมรุ่นใหญ่เต็มเวลา ตอนนี้ เรากำลังมุ่งเน้นไปที่รุ่นใหญ่ด้านภาษา แต่เราก็ให้ความสนใจกับรุ่นใหญ่แบบข้ามรุ่นเช่นกัน

**Shen Ran: Mr. Lu (ประธาน Xiaomi Group Lu Weibing) กล่าวว่าปัจจุบันทีม Xiaomi AI มีมากกว่า 1,200 คน นอกจากห้องปฏิบัติการ AI แล้ว แผนกอื่นๆ ภายใน Xiaomi ที่เกี่ยวข้องกับ AI อย่างมากคืออะไร **

Wang Bin: นอกจากห้องปฏิบัติการ AI แล้ว ยังมีทีมของ Xiao Ai ซึ่งทั้งสองทีมอยู่ภายใต้คณะกรรมการด้านเทคนิค

นอกจากคณะกรรมการด้านเทคนิคแล้วยังมีแผนกต่างๆ ที่มีทีม AI ที่ค่อนข้างใหญ่ เช่น แผนกระบบขับเคลื่อนอัตโนมัติของแผนกยานยนต์, แผนกกล้องของโทรศัพท์มือถือและแผนกซอฟต์แวร์ นอกจากนี้ การเติบโตของผู้ใช้และคำแนะนำการโฆษณาใน แผนกธุรกิจอินเทอร์เน็ตล้วนเกี่ยวข้องกับ AI ที่เกี่ยวข้อง

ในระยะสั้น ทีมที่เกี่ยวข้องกับ AI บางทีมอยู่ในแผนกธุรกิจและบางทีมอยู่ในคณะกรรมการด้านเทคนิค จำนวนรวมประมาณ 1,200 คน หากคุณพิจารณาทีมเล็กๆ บางทีม ฉันคิดว่าตัวเลขนี้มากกว่าโดยส่วนตัว

**Shen Ran: Xiaomi AI Lab มีบทบาทอย่างไรในกลยุทธ์ AI ของ Xiaomi **

**Wang Bin:**AI Lab เป็นแผนกวิจัยและพัฒนาและส่งออกเทคโนโลยี AI ในระดับกลุ่ม ในแง่ของคนธรรมดา เรากำลังส่งออกเทคโนโลยี AI ไปยังทั้งบริษัท

ครั้งหนึ่งเราเคยเปรียบเทียบห้องปฏิบัติการ AI กับ "สนามทดลอง" และ "คลังกระสุน" ของเทคโนโลยี AI ในระดับกลุ่ม เนื่องจากการพัฒนาอย่างรวดเร็วของ AI ห้องปฏิบัติการ AI จะพัฒนาเทคโนโลยีล้ำสมัยระยะกลางและระยะยาว สำรองข้อมูลในธุรกิจของ Xiaomi และส่งออก "กระสุน" เมื่อกลุ่มต้องการ

ในแง่ของเทคโนโลยี AI เราต้องมีกำลังสำรองที่สมบูรณ์ที่สุดในบริษัท และเราก็มีอำนาจมากในอุตสาหกรรมเช่นกัน

**Shen Ran: อะไรคือความสำเร็จด้านการวิจัยที่สำคัญของ Xiaomi AI Lab? **

Wang Bin: แนวคิดของห้องปฏิบัติการ AI ของเราเน้นการผสมผสานระหว่างเทคโนโลยีและสถานการณ์ ปัจจุบัน เอกสารที่ตีพิมพ์ไม่ถือเป็น OKR ดังนั้น หลังจากที่ฉันมาที่ Xiaomi จาก Chinese Academy of Sciences (Chinese Academy of Sciences) ฉันรู้สึกว่าความสำเร็จที่ยิ่งใหญ่ที่สุดไม่ใช่ความก้าวหน้าของเทคโนโลยีเพียงจุดเดียว แต่เป็นการรวมเทคโนโลยีและผลิตภัณฑ์เข้าด้วยกันอย่างแยบยล

Xiaomi เป็นบริษัทในเครือ To C ในขณะนี้ ผลลัพธ์ความสามารถด้าน AI ของเราไม่ได้ส่งออกไปยังโลกภายนอกโดยตรง เราประสบความสำเร็จมากมาย รวมถึงอัลกอริธึมการประมวลผลของกล้องและอัลบั้มภาพจำนวนมากในโทรศัพท์มือถือ Xiaomi อัลกอริทึมเสียงและ NLP ที่เกี่ยวข้องกับ Xiao Ai และอัลกอริทึม AI ในระบบแนะนำ การค้นหา และการบริการลูกค้าของ Xiaomi Mall

ผมขอยกตัวอย่างนะครับ เราได้พัฒนาฟังก์ชั่นการแปลแบบออฟไลน์บนโทรศัพท์มือถือของเรา ตัวอย่างเช่น หลังจากไปต่างประเทศ เครือข่ายไม่ค่อยดีในหลายๆ กรณี ตอนนี้เปิดฟังก์ชั่นการแปลของโทรศัพท์มือถือ Xiaomi โดยไม่ต้องไปที่คลาวด์ ในสถานะออฟไลน์ เรียลไทม์ ความเป็นส่วนตัว และเอฟเฟกต์การแปลจะดีกว่า การนำฟังก์ชันนี้ไปใช้งานและประยุกต์ใช้งานนั้นไม่ง่ายเลย เราได้ทำการ Optimization มากมายเกี่ยวกับเอฟเฟ็กต์การแปลและประสิทธิภาพ

**ใน Xiaomi ไม่ใช่เทคโนโลยีของเราเองที่จะนำมาใช้ก่อน เทคโนโลยีภายในก็ต้องแข่งขันกับเทคโนโลยีภายนอกอย่างยุติธรรม ผู้ชนะเท่านั้นที่จะอยู่รอดและนำไปใช้กับผลิตภัณฑ์ได้ **

**Shenran: ธุรกิจใดของ Xiaomi จะได้รับผลกระทบจากเทคโนโลยีโมเดลขนาดใหญ่ที่แสดงโดย ChatGPT **

Wang Bin: ความสามารถที่แข็งแกร่งที่สุดของโมเดลขนาดใหญ่ พูดง่ายๆ ก็คือ มันเข้าใจผู้คนได้ดีขึ้น และเห็นได้ชัดว่าสามารถเพิ่มประสิทธิภาพวิธีการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์ได้ เพื่อนร่วมชั้น Xiao Ai ของ Xiaomi, ระบบปฏิบัติการโทรศัพท์มือถือ MIUI, ห้องนักบินในรถยนต์, IoT และหุ่นยนต์ล้วนเป็นสถานการณ์ทั่วไปที่ใช้โมเดลขนาดใหญ่

**Shen Ran: คุณช่วยยกตัวอย่าง Xiao Ai ได้ไหม? **

Wang Bin: ใช้กับ Xiao Ai มันสามารถทำสองอย่างได้ในเวลาเดียวกัน หนึ่งคือการทำสิ่งที่เป็นไปไม่ได้ให้เป็นไปได้ ซึ่งเท่ากับมีฟังก์ชันใหม่ๆ ตัวอย่างเช่น ฉันขอให้เสี่ยวอ้ายวางแผนการเดินทางหรือสั่งอาหาร เป็นต้น ความสามารถทางเทคนิคดั้งเดิมยังไม่บรรลุผล และหากผู้ใช้ใช้วิธีอื่น มันก็จะยุ่งเหยิง แต่ ด้วยการสนับสนุนของโมเดลขนาดใหญ่ จึงมีความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับคำพูดของมนุษย์ ดังนั้นงานที่ซับซ้อนจึงสามารถทำได้ และแอปพลิเคชันประเภทนี้ก็เป็นไปได้

อีกประเภทหนึ่งคือการเพิ่มประสิทธิภาพของฟังก์ชันดั้งเดิมซึ่งเทียบเท่ากับไอซิ่งบนเค้ก เนื่องจากความรวดเร็วและความหลากหลายของการแสดงออกของมนุษย์ ในกระบวนการปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ของ Xiaoai ปัญหาที่ใหญ่ที่สุดคือการเผชิญกับเหตุการณ์ความน่าจะเป็นเล็กๆ เราเรียกว่า Corner Case และมักจะใช้กลยุทธ์แบบอนุรักษ์นิยมเพื่อให้ Xiaoai พูดว่า "ฉันทำได้" t คำตอบ", "ฉันยังเรียนอยู่"**. คำตอบที่สนับสนุนแบบนี้สามารถสนทนาต่อได้ แต่ประสบการณ์ไม่ดี แต่เทคโนโลยีรุ่นใหญ่สามารถดำเนินการสนทนาได้นานขึ้น และเพิ่มความพึงพอใจของผู้ใช้อย่างมาก

**Shenran: รุ่นใหญ่มีผลกระทบอย่างมากต่อบ้านอัจฉริยะหรือไม่? **

Wang Bin: ตามความเข้าใจส่วนตัวของฉัน รุ่นใหญ่อย่างน้อยสามารถปรับปรุงประสบการณ์ผู้ใช้ของสมาร์ทโฮมในแง่ของความสามารถในการโต้ตอบ

แม้ว่าจะมีอุปกรณ์มากมายที่อ้างว่า "ฉลาด" แต่มักทำตัวเหมือน "ปัญญาอ่อน" และมีอัตราการใช้งานไม่สูงนัก เช่น การเปิดเครื่องปรับอากาศหรือปรับอุณหภูมิของเครื่องปรับอากาศ หากคำสั่งแตกต่างจากคำสั่งมาตรฐาน อาจทำให้ควบคุมอุปกรณ์ IoT ไม่ได้

แต่หลังจากการมาถึงของรุ่นใหญ่ทำให้เข้าใจภาษามนุษย์ได้ลึกซึ้งยิ่งขึ้น ในหลาย ๆ กรณีมีการแสดงออกต่าง ๆ รุ่นใหญ่สามารถแปลการแสดงออกของผู้ใช้เป็นคำสั่งที่เครื่องสามารถเข้าใจได้ สิ่งนี้จะผลักดันให้ผู้คนใช้อุปกรณ์สมาร์ทมากขึ้นและทำให้ระบบนิเวศทั้งหมดเติบโตเร็วขึ้น

**Shenran: นอกจากการปรับปรุงธุรกิจที่มีอยู่แล้ว มีสิ่งอื่นอีกไหมที่ Xiaomi ไม่สามารถทำได้มาก่อน แต่มีรุ่นใหญ่แล้วจะทำได้หรือไม่? **

Wang Bin: เราจะทำงานร่วมกันอย่างลึกซึ้งระหว่างโมเดลขนาดใหญ่และธุรกิจเหล่านี้ แน่นอน นอกจากนี้ เรายังมองหาความเป็นไปได้เพิ่มเติม

ทีมงานของเราได้เขียนบทความมากมายเพื่อส่งเสริมโมเดลขนาดใหญ่ภายในบริษัท รวมถึงแนวคิดและการพัฒนาเทคโนโลยีของโมเดลขนาดใหญ่ และเพื่อสอนทุกคนถึงวิธีใช้ ChatGPT เพื่อแก้ปัญหาทางธุรกิจ Mr. Lei ได้ขอให้ทุกแผนกเรียนรู้แบบจำลองขนาดใหญ่ และต้องการให้ทุกคนมีพื้นฐานการคิดแบบจำลองขนาดใหญ่และคิดว่าจะรวมเข้ากับธุรกิจได้อย่างไร