المصدر: Shen Ran، المؤلفون: Jin Yufan، He Shulong، Editor: He Shulong
* مصدر الصورة: تم إنشاؤه بواسطة أداة Unbounded AI *
بعد نصف عام من إطلاق ChatGPT ، استمرت مطاردة النماذج على نطاق واسع على جانبي المحيط الهادئ.
التحالف الذي شكلته شركة OpenAI و Microsoft و Nvidia يعمل على الساحل الشرقي للمحيط الهادئ. منذ مارس من هذا العام ، تابعت شركات التكنولوجيا الصينية بشكل عاجل. أطلقت بايدو ، وعلي ، وسنس تايم ، وآي فلايتيك منتجات "شبيهة بـ ChatGPT". Tencent و Huawei و JD. الأوقات هي أيضًا فرص "أكبر بعشر مرات".
في لحظة "حرب المائة موديل" ، يبدو أن شركة Xiaomi ، باعتبارها شركة تكنولوجيا محلية كبيرة ، تتمتع بهدوء غير عادي.
قال Lei Jun ، رئيس Xiaomi ، إن Xiaomi تقوم بتطوير بعض التقنيات والمنتجات ، وسوف تعرضها للجميع بعد صقلها. قال Lu Weibing ، رئيس مجموعة Xiaomi ، إن Xiaomi لديها حاليًا فريق AI يضم أكثر من 1200 شخص ، وسوف تتبنى بنشاط نماذج واسعة النطاق وتدمجها مع عمق الأعمال ، ولكنها لن تصنع نماذج واسعة النطاق للأغراض العامة مثل OpenAI .
عمقت هذه المعلومات شكوك العالم الخارجي: هل ستنضم Xiaomi إلى "حرب المائة موديل"؟
قال الدكتور وانج بين ، مدير مختبر الذكاء الاصطناعي في مجموعة Xiaomi ، لشينران إن ** Xiaomi ستطور نموذجًا كبيرًا للأغراض العامة بنفسها ، لكنها لن تطلق منتجًا شبيهًا بـ ChatGPT بمفردها "، ولن تصدر PPT ، أو تعرض بعض الأمثلة ، لنفترض أن لدينا نموذجًا كبيرًا "** ، ولكن النموذج الكبير الذي تم تطويره ذاتيًا سيتم طرحه في النهاية بواسطة المنتج.
هذه هي المرة الأولى التي يتم فيها الكشف عن مسار وتقدم النموذج الكبير للعالم الخارجي بعد أن أعلنت Xiaomi رسميًا عن فريق الطراز الكبير. في 14 أبريل من هذا العام ، أعلنت Xiaomi أن فريق الطراز الكبير سيقود من قبل Luan Jian وسيقدم تقريرًا إلى Wang Bin. شارك Wang Bin في البحث والتطوير المتعلقين بمعالجة اللغة الطبيعية (NLP) في الأكاديمية الصينية للعلوم لأكثر من 20 عامًا.انضم إلى Xiaomi في 2018 وكان مسؤولاً عن مختبر الذكاء الاصطناعي منذ عام 2019. مختبر الذكاء الاصطناعي هو القسم الأساسي لاستراتيجية Xiaomi للذكاء الاصطناعي.
Xiaomi ، الذي صنع نموذجًا للحوار على نطاق واسع ، هو عقلاني نادر في نموذج اللغة واسع النطاق المدربين مسبقًا للأغراض العامة. كشف وانغ بين أن ** يوجد حاليًا أكثر من 30 فريقًا للنماذج كبيرة الحجم تعمل بدوام كامل ** ، ولن تتوسع بسرعة على الفور ؛ لا يزال هدف هذا الفريق هو نموذج لغة واسع النطاق ، ومعلمات النموذج الأساسي المستهدف من الخطوة الأولى عشرات المليارات ** ، ثم بناءً على نتائج التسلق السابقة ، سيتم تحديد الخطوة التالية.
"لا يزال هناك طريق طويل لنقطعه من تطوير النماذج الكبيرة إلى الهبوط. ما إذا كان بإمكانهم العثور على مشاهد مهمة مناسبة هو نقطة ألم للعديد من شركات النماذج واسعة النطاق." من وجهة نظر وانغ بين ، فإن ميزة Xiaomi هي أن لديها ما يكفي من النماذج الكبيرة الجاهزة.يمكن لسيناريوهات الهبوط ، بما في ذلك Xiao Ai ، و loT ، والقيادة الذاتية ، والروبوتات ، وما إلى ذلك ، سيناريوهات التطبيق الغنية أن تغذي أيضًا قدرة النماذج الكبيرة.
لا يوجد لدى Xiaomi نقص في السيناريوهات ، ولكن لتدريب نموذج كبير ، لا غنى عن تراكم البيانات وقوة الحوسبة والمواهب. قال وانغ بين إن Xiaomi لديها احتياطي معين من المواهب ، والتحديات من حيث قوة الحوسبة وحجم البيانات كبيرة نسبيًا. من ناحية أخرى ، تحتاج قوة الحوسبة للتغلب على التحديات على مستوى النظام ، ويجب أن تكون تكلفة التدريب قابلة للتحكم ؛ من ناحية أخرى ، يستغرق الحصول على بيانات عالية الجودة وتنظيفها الكثير من الوقت والتكلفة.
في الموجة الجديدة لنماذج الذكاء الاصطناعي الكبيرة ، لماذا لا يُصدر فريق Xiaomi AI "منتجات شبيهة بـ ChatGPT"؟ كيف يحكم Xiaomi على المسار الفني والصعوبة الفنية للنموذج الكبير؟ قبل أيام قليلة ، أجرى He Shulong ، رئيس تحرير Shenran ، حوارًا مع Wang Bin ، مدير مختبر الذكاء الاصطناعي التابع للجنة Xiaomi التقنية. فيما يلي المحتوى الأساسي:
نموذج Xiaomi الكبير: 30 شخصًا في الفريق ، لا يشبه ChatGPT
** Shen Ran: في 14 أبريل ، عينت Xiaomi Luan Jian كرئيس لفريق الطراز الكبير لتقديم تقرير إليك. هل يمكنك إخبارنا كيف ولد فريق طراز Xiaomi الكبير؟ **
** وانج بين: ** تم الإعلان عن الفريق النموذجي الكبير في أبريل ، لكنه بدأ بالفعل العمل قبل ذلك.
في 30 نوفمبر من العام الماضي ، بعد أن أصدرت شركة OpenAI ChatGPT ، قام عدد منا بسرعة بتسجيل حساب وبدأ اللعب عليه. إن ChatGPT عمل تخريبي بالفعل ، فنحن نعمل على الذكاء الاصطناعي منذ سنوات عديدة ، وقد تجاوزت العديد من قدراته توقعات مطورينا.
بعد فترة وجيزة ، قمنا بتنظيم عدد من مجموعات اتصالات النماذج الداخلية واسعة النطاق لمناقشة تكنولوجيا النماذج واسعة النطاق وتأثيرها التخريبي على الترجمة الآلية ، والحوار بين الإنسان والآلة ، والإجابة الذكية للأسئلة ، وخدمة العملاء. ** أصبح العديد من الأشخاص الذين شاركوا في ورش العمل المبكرة فيما بعد أعضاءً رئيسيين في فريق نموذج بالحجم الطبيعي بدوام كامل. **
** Shen Ran: هل سيتأخر فريق طراز Xiaomi واسع النطاق قليلاً؟ **
** وانج بن: ** بالنسبة للموديلات الكبيرة ، نحن ننتمي إلى المدرسة العقلانية.
قبل ولادة ChatGPT ، أجرت Xiaomi بحثًا داخليًا وتطويرًا وتطبيقًا لنماذج كبيرة ، بشكل أساسي في شكل تدريب مسبق + الإشراف على المهام النهائية والضبط الدقيق للحوار بين الإنسان والآلة ، وكانت معلمات النموذج في المليارات. بالطبع ، هذا النوع من النماذج ليس نموذجًا واسع النطاق للأغراض العامة كما يطلق عليه الآن.
نحن واضحون جدًا أن تطوير النموذج العام الكبير وتطبيقه هو عمل طويل الأمد وليس مسألة وقت. كنا نسير وفقًا لخطتنا الزمنية وخطواتنا. في ذلك الوقت ، شعرنا أن الوقت قد حان ، لذلك أصدرنا إصدارًا للفريق.
** شين ران: كم عدد الأشخاص في فريق العارضات الكبير؟ هل هناك أي خطط لمواصلة التوسع؟ **
** وانغ بين: ** يضم الفريق الرئيسي حاليًا أكثر من 30 شخصًا. نقوم حاليًا بالتحضير وفقًا لجوانب المواهب والبيانات والنماذج وقوة الحوسبة والتقييم والمنتجات ، ثم نعدل أو نتوسع تدريجياً بعد مرحلة معينة.
لن نقوم على الفور بزيادة عدد الأشخاص ، مثل تجنيد 100 شخص في وقت واحد. لأنه في مرحلة التسلق لتراكم القدرات ، قد لا يعرف تجنيد الكثير من الأشخاص كيفية ترتيب ذلك ، ولكنه يعد إهدارًا.
مع الكشف المستمر عن المعلومات حول النماذج الكبيرة والتدفق المستمر لرأس المال والمواهب ، تطور مجال النماذج الكبيرة بسرعة كبيرة ، وتغيرت آراء الجميع بشكل كبير. عندما ظهر ChatGPT لأول مرة منذ وقت ليس ببعيد ، شعر الجميع أنه من المستحيل أساسًا تحقيق نموذج مشابه واسع النطاق ، ولكن ببطء ، شعر الكثير من الناس أن الاحتمالية كانت عالية جدًا ، واعتقد بعض الناس أن العديد من المنتجات يمكن أن تكون راضية بدون مثل هذا نموذج واسع النطاق. الطلب. كما أن كثافة الاستثمار لدى كل شخص مختلفة تمامًا. قد يعتقد بعض الناس أن الفريق يحتاج على الأقل بضع مئات من الأشخاص ، ويعتقد البعض أنه ليس ضروريًا.
** شنران: هل هناك خطط مرحلية للمستقبل ومتى يتم اختبارها داخليا وإصدارها خارجيا؟ **
** وانج بين: ** على عكس الشركات الأخرى ، ولدت Xiaomi بسمات المنتجات ، وأعتقد أنه عند طرح الطراز الكبير من Xiaomi ، يتم طرحه بواسطة المنتج.
قد نختبر داخليًا قبل Q3. ومع ذلك ، هذه ليست عقدة حتمية.
** Shen Ran: بمعنى آخر ، لن تصدر Xiaomi منتجًا شبيهًا بـ ChatGPT؟ **
** وانج بين: ** نعم ، لن نصدر PPT ، أو نثبت أن لدينا نموذجًا كبيرًا. سيناريوهات التطبيق الغنية هي أكبر ميزة لدينا. ** سيتم دمج طراز Xiaomi الكبير بشكل أوثق مع المشهد ، ويجب وضع خطة الإصدار المقابلة حول إيقاع المنتج. **
** شنران: بالإضافة إلى القوى العاملة ، ما هي تكلفة القدرة الحاسوبية لشركة Xiaomi لصنع نموذج كبير؟ **
** وانج بين: ** نحن استثمار متوسط الحجم ، وسنقرر الخطوة التالية للاستثمار بناءً على نتائج الصعود السابق.
حكمنا الأساسي هو أن النموذج المناسب لمنتجات Xiaomi والشركات قد يكون لها معلمات في عشرات المليارات ** ، والتي ستكون أقل من مقياس 100 مليار ، والاستثمار في آلات التدريب حوالي عشرات الملايين من اليوان.
** Shen Ran: كيف يكون النموذج الذي يحتوي على مليارات من المعلمات من صنع Xiaomi من قبل؟ **
** وانج بين: ** ChatGPT الذي تم إصداره العام الماضي هو نوع من نموذج واسع النطاق ، يُطلق عليه اسم نموذج كبير للغة مُدرَّب مسبقًا للأغراض العامة. لكن النموذج الكبير نفسه ظهر في وقت مبكر جدًا ، ولكل شخص طرق وطرق مختلفة.
بدأنا في متابعة النموذج الكبير في وقت سابق. في ذلك الوقت ، صنعنا نموذجًا خاصًا بالحوار مع حوالي 2.8 مليار إلى 3 مليار معلمة. يتم تحقيقه من خلال ضبط بيانات الحوار على أساس النموذج الأساسي المدرب مسبقًا. إنه ليس النموذج الكبير الحالي للأغراض العامة ، ولكنه مخصص للحوار بين الإنسان والآلة. الجنس ، دعه يستمر. في وقت لاحق ، تم إطلاق هذا النموذج إلى Xiaoai ، وتم إجراء اختبار صغير الحجم عبر الإنترنت.
لذلك ، تم استخدام AIGC بالفعل في Xiao Ai ، ولكن على مستوى المنتج ، لا نستخدم هذا النموذج الكبير بالكامل ، ولكننا نستخدم تكامل النموذج التقليدي ونموذج الحوار الكبير لاستخدام الاثنين معًا.
** من المحتمل أن يكون الطراز الكبير للأغراض العامة من Xiaomi هو هذا النموذج الهجين عند إطلاقه في المنتج **. يتم تسليم المشكلات التي يعالجها النموذج التقليدي جيدًا إلى النموذج التقليدي. يحل النموذج الكبير المشكلات التي يجيد حلها ، مثل بعض الأحداث الاحتمالية الصغيرة أو الحوارات الطويلة.
مستوى الحوار للنموذج الكبير للأغراض العامة الذي تم طرحه الآن أعلى بكثير من مستوى النموذج الكبير المخصص للحوار السابق ، لذلك تم نقل هذا الجزء من الفريق أيضًا إلى النموذج الكبير للأغراض العامة. خاض هذا الفريق عملية التدريب الكاملة لنموذج الحوار الكبير ، وتسلق بعض الحفر ، ومع تراكم البيانات ، فإن له مزايا معينة.
نموذج الدخن الكبير: المشهد مهيمن ، والبيانات مشكلة
** شنران: خلال هذه الفترة الزمنية ، كان التقدم التكنولوجي سريعًا للغاية ، ويتم إطلاق النماذج المحلية واسعة النطاق بشكل مكثف ، فهل ستشعر بالقلق بسبب التقدم البطيء؟ **
** وانج بين: ** اعتدت أن أكون قلقًا للغاية لفترة من الوقت ، لأنني شعرت بالذعر قليلاً إذا لم ينتهي بي الأمر بفعل ذلك طوال الوقت ، وستفكر ، "كيف يمكن للآخرين أن يحرزوا مثل هذا التقدم السريع و جعلها كلها مرة واحدة؟ "الآن ننزل للقيام بذلك لا مزيد من القلق.
** يقال إن الصين الآن "حرب المائة نموذج" ، وتم إصدار أكثر من 80 نموذجًا كبيرًا ** ، بعضها يوفر اختبارًا داخليًا ، وبعضها تم إصداره فقط بواسطة PPT. لا يزال تأثير بعض النماذج جيدًا ، وانطلاقًا من مستوى الإصدار ، لا يبدو أن مستوى النماذج الكبيرة الحالية التي طورناها ذاتيًا أسوأ من العديد من النماذج. لكننا لسنا في عجلة من أمرنا للقيام بإصدار خارجي. أولاً ، بالنسبة لشركة مثل Xiaomi ، لا معنى لذلك. ثانيًا ، ما زلنا نأمل في جعل النموذج المطور ذاتيًا أفضل حول المنتج ، ثم إطلاقه معًا.
** شنران: هل تعتقد أن النماذج الكبيرة للشركات المحلية لديها فرصة للحاق بركب شركة أوبن إيه آي؟ ما هو حجم الفجوة؟ يحبون استخدام ثلاثة أشهر وستة أشهر لوصف ذلك. **
** وانج بين: ** في الوقت الحالي ، يجب أن تكون شركة OpenAI متقدمة جدًا ، فقد استثمرت مبكرًا ولديها تراكم قوي جدًا في المواهب والبيانات وقوة الحوسبة والهندسة والمنتجات. من الوضع الداخلي ، أشعر أنه لا تزال هناك فجوة معينة بين OpenAI و OpenAI. يقول البعض إنها ثلاثة أشهر أو ستة أشهر ، بينما يقول آخرون إنها سنة أو سنتين. من حيث الوقت ، من الصعب القول.
لأن كيفية تقييم نموذج كبير هي مشكلة صعبة للغاية في حد ذاتها. يوجد الآن تصنيفات لنماذج كبيرة مختلفة ، لكن لم يتم التعرف على أي منها بالإجماع من قبل الجميع. ** لا يوجد معيار تقييم حقيقي ، لذا فإن الحديث عن اللحاق بالركب في ثلاثة أشهر أو ستة أشهر هو مجرد صفعة على الوجه. **
فيما يتعلق بما إذا كان من الممكن للصين اللحاق بـ OpenAI ، كنت متشائمًا في الأيام الأولى واعتقدت أنه كان مستحيلًا تقريبًا ، ولكن مع تدفق العديد من الحلول مفتوحة المصدر والفرق المختلفة ورأس المال ، فإن رأيي أكثر تفاؤلاً. أعتقد أن الصين لديها الفرصة لتضييق المسافة مع OpenAI ، للاقتراب منها أو حتى تجاوزها في العديد من السيناريوهات.
** لا يبدو أن النماذج الكبيرة تتمتع بمثل هذه العتبة العالية للرقائق. فمن خلال التراكم المستمر وتحسين المواهب والبيانات وقوة الحوسبة وما إلى ذلك ، من الممكن تضييق الفجوة باستمرار. **
** شنران: ما هي أنواع الشركات المحلية التي تتمتع بمزايا أكثر في النماذج الكبيرة؟ أين فرصة Xiaomi؟ **
** وانج بين: ** بغض النظر عن الشركات الكبيرة أو الشركات الناشئة الصغيرة والمتوسطة ، لكل منها مساحة معيشية خاصة بها. النموذج الكبير هو بيئة ، ولا يمكن لأي واحد كبير أن يأخذ كل شيء ، فجميع الشركات في البيئة ، بما في ذلك قوة الحوسبة والبيانات والتطبيقات والشركات التي تصنع نماذج كبيرة حقًا ، لديها فرصها الخاصة.
تتمتع النماذج واسعة النطاق مثل Xiaomi بميزة سيناريوهات التطبيق. نعتقد أن الجمع بين النماذج الكبيرة والمشاهد سيكون فرصة كبيرة.
لأنه إذا أصدرت للتو نموذجًا كبيرًا ولم يستخدمه أحد ، فقد لا يكون قادرًا على التطور بسرعة من خلال التدحرج. ويمكننا الهبوط فورًا على المشهد ، ومن خلال التكرار المستمر ، يمكننا إعطاء دور كامل لقوة النموذج الكبير في هذه المشاهد.
على الرغم من أننا ندمج حاليًا فريقًا رئيسيًا فقط يتكون من أكثر من 30 شخصًا ، إلا أنه يوجد في الواقع الكثير من الأشخاص على الهامش. في مختبر الذكاء الاصطناعي بأكمله ، هناك أكثر من 100 شخص لديهم خلفية البرمجة اللغوية العصبية ويقومون بتطبيقات محددة ، بما في ذلك الرسم البياني للمعرفة ، والترجمة الآلية ، والحوار بين الإنسان والآلة ، وخدمة العملاء الذكية ، والإجابة الذكية للأسئلة. إنهم جميعًا أشخاص لديهم التفكير الأساسي في النماذج الكبيرة والتقنيات ذات الصلة ، ويقومون بالترويج لاستكشاف النماذج الكبيرة من منظور تطبيقاتهم الخاصة.
وانغ بن
** Shen Ran: ما هي قيمة تراكم Xiaomi في أبحاث البرمجة اللغوية العصبية للطرز الكبيرة؟ **
** وانغ بن: ** هناك رأيان في الصناعة. طريقة واحدة للقول هي أن هؤلاء منا قد لا يكون لديهم وظائف ، وقد قتلنا الذكاء الاصطناعي ، خاصة أولئك الذين يعملون في البرمجة اللغوية العصبية قد لا يكون لديهم وظائف. هناك أيضًا قول مأثور مفاده أن النموذج الكبير مصنوع من البرمجة اللغوية العصبية (NLP) ، وأولئك الذين يقومون بمعالجة اللغات الطبيعية لديهم مزايا متأصلة.
كلا هذين البيانين لهما بعض الحقيقة ، ولكن بعد كل شيء ، يتعلق الأمر بعملي ، فأنا أكثر ميلًا إلى العبارة الأخيرة.
تم استكشاف النماذج الكبيرة في الأصل في مختلف المجالات ، بما في ذلك الرؤية والكلام ومعالجة اللغة الطبيعية. ** ولكن لماذا يعد هذا الاختراق الأول في مجال البرمجة اللغوية العصبية ، أعتقد أن هناك أسبابًا أساسية لذلك **. أفهم نقطتين على الأقل: الأولى هي ثراء البيانات اللغوية وسهولة توفرها ، والثانية هي أن هناك معرفة غنية جدًا تعكس عملية التفكير البشري المخفية وراء بيانات اللغة.
لذلك أعتقد أن الأشخاص الذين تراكموا في مجال البرمجة اللغوية العصبية لسنوات عديدة لديهم مزايا فطرية معينة في فهم النماذج الكبيرة وتحويلها. عمل العديد من أعضاء فريق نموذج Xiaomi واسع النطاق في الأصل في اتجاه البرمجة اللغوية العصبية. العديد من الشركات الناشئة التي تجيد صنع نماذج واسعة النطاق في الصين خرجت أيضًا من مجال البرمجة اللغوية العصبية.
** Shen Ran: ما هي الصعوبات الحالية التي تواجه Xiaomi للتغلب على النموذج الكبير؟ كيف تتغلب عليها؟ **
** وانج بين: ** بادئ ذي بدء ، ما زلت أريد أن أقول إن النموذج الكبير نفسه يواجه تحديات ضخمة للغاية.
التحدي الكبير هو عدم اليقين من ** التكنولوجيا **. لقد رأينا بعض التقارير ، وحتى فريق OpenAI أنفسهم ليسوا واضحين تمامًا بشأن المبادئ الحقيقية وراء النموذج الكبير ، وإذا فعلوا ذلك مرة أخرى ، فهم غير متأكدين مما إذا كانت النتائج "الناشئة" نفسها ستحدث. أعتقد أن أوبن إيه آي تقول الحقيقة بشأن هذه النقطة ، وبسبب عدم اليقين الكبير في التكنولوجيا ، لا يمكن للاستثمار أن يضمن إمكانية تدريب نموذج كبير يلبي التوقعات.
يشكل تراكم البيانات عالية الجودة تحديًا أيضًا. يُعتقد عمومًا أن النماذج الكبيرة تتطلب بيانات تدريب كبيرة جدًا وعالية الجودة. تعتبر جودة البيانات المتاحة للجمهور على الإنترنت رديئة نسبيًا بشكل عام ، لذا فإن الحصول على البيانات وتنظيفها ** يمثلان تحديات كبيرة نسبيًا. **
التحدي الآخر هو بالطبع ** قوة الحوسبة **. بادئ ذي بدء ، هذا لا يعني أن هناك الكثير من البطاقات التي يمكن تدريبها ، وكيفية الاستفادة الجيدة من هذه البطاقات هو تحدٍ على مستوى النظام في حد ذاته. ثانيًا ، لأنه قد يتم ارتكاب أخطاء أثناء عملية التدريب ، فقد يتم حرق الأموال ، ولا يمكن حرق أي شيء ، لذلك يعتمد الأمر على ما إذا كان لديك القدرة على تدريب نموذج كبير بتكلفة يمكن التحكم فيها.
من الناحية العملية ، لا تزال التحديات الحالية ** للبيانات وقوة الحوسبة كبيرة نسبيًا ، لا سيما البيانات عالية الجودة على نطاق واسع **. بعد فترة التسلق السابقة ، نحن الآن على يقين من أنه طالما أن البيانات موجودة وتستخدم قوة الحوسبة الحالية ، يمكننا على الأرجح معرفة عدد الأيام التي سيستغرقها تدريب نموذج أساسي جيد.
** شنران: هل تم تخفيض تكلفة تدريب النماذج الكبيرة الآن؟ **
** وانج بن: ** من ناحية أخرى ، فإن تكلفة التجربة والخطأ أقل من ذي قبل. نظرًا لأن التدريب على النموذج الكبير قد يستغرق منعطفات ويفشل ، ولكن مع الكشف عن المعلومات المختلفة ، من الممكن العثور بسرعة على الاتجاه الصحيح للتدريب. من ناحية أخرى ، تقدم العديد من شركات الحوسبة السحابية والشرائح وغيرها من الشركات ، بالإضافة إلى العديد من الشركات المبتدئة ، خدمات تدريب واستدلال على نماذج كبيرة منخفضة التكلفة. مع زيادة تطوير البيئة بأكملها ، أعتقد أن تكلفة التدريب ستستمر في الانخفاض.
كيف يؤثر النموذج الكبير على أعمال Xiaomi؟
** Shen Ran: هل يمكنك تقديم Xiaomi AI Lab الذي أنت مسؤول عنه بالتفصيل؟ **
** وانغ بين: ** بعد ولادة "AlphaGo" في عام 2016 ، قام السيد Lei على الفور بترقية بناء فريق الذكاء الاصطناعي. تم إنشاء مختبر الذكاء الاصطناعي رسميًا في عام 2016 ، وأنا مسؤول منذ عام 2019.
اتضح أن مختبر الذكاء الاصطناعي هو جزء من وزارة الذكاء الاصطناعي. في وقت لاحق ، تم دمج قسم الذكاء الاصطناعي في اللجنة الفنية للمجموعة ، والآن أصبح مختبر الذكاء الاصطناعي تحت إشراف اللجنة الفنية مباشرة.
يبلغ حجم الفريق الحالي لمختبر الذكاء الاصطناعي حوالي 350 شخصًا ، وله ستة اتجاهات ، وهي التعلم الآلي ومعالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر والصوتيات والكلام والرسوم البيانية المعرفية.
بعد ظهور النموذج الكبير ، أنشأ مختبر الذكاء الاصطناعي فريقًا نموذجيًا كبيرًا بدوام كامل.نحن نركز الآن على نموذج اللغة الكبير ، لكننا أيضًا نولي اهتمامًا للنموذج الكبير عبر الوسائط.
** شين ران: قال السيد لو (رئيس Xiaomi Group Lu Weibing) أن فريق Xiaomi AI يضم حاليًا أكثر من 1200 شخص. بالإضافة إلى مختبر الذكاء الاصطناعي ، ما هي الأقسام الأخرى داخل Xiaomi التي ترتبط ارتباطًا وثيقًا بالذكاء الاصطناعي؟ **
** وانغ بين: ** بالإضافة إلى مختبر الذكاء الاصطناعي ، هناك أيضًا فريق Xiao Ai ، وكلاهما يخضعان للجنة الفنية.
بالإضافة إلى اللجنة الفنية ، هناك العديد من الأقسام التي بها فرق كبيرة نسبيًا للذكاء الاصطناعي ، بما في ذلك قسم الطيار الآلي في قسم السيارات ، وقسم الكاميرا في الهاتف المحمول ، وقسم البرمجيات. بالإضافة إلى نمو المستخدم والتوصيات الإعلانية في ترتبط جميع أقسام الأعمال التجارية عبر الإنترنت بالذكاء الاصطناعي.
باختصار ، بعض الفرق ذات الصلة بالذكاء الاصطناعي موجودة في قسم الأعمال ، والبعض الآخر في اللجنة الفنية. العدد الإجمالي هو حوالي 1200. إذا كنت تفكر في بعض الفرق الصغيرة ، فأنا شخصياً أعتقد أن هذا الرقم أكبر.
** Shen Ran: ما هو دور Xiaomi AI Lab في إستراتيجية Xiaomi للذكاء الاصطناعي؟ **
** وانج بين: ** AI Lab هو قسم البحث والتطوير والإخراج لتقنية الذكاء الاصطناعي على مستوى المجموعة. وفقًا لشروط الشخص العادي ، نقوم بتصدير تقنية الذكاء الاصطناعي إلى الشركة بأكملها.
لقد قارنا مرة واحدة معمل الذكاء الاصطناعي بـ "المجال التجريبي" و "مستودع الذخيرة" لتقنية الذكاء الاصطناعي على مستوى المجموعة. بسبب التطور السريع للذكاء الاصطناعي ، سيقوم مختبر الذكاء الاصطناعي بتطوير بعض التقنيات المتطورة على المدى المتوسط والطويل ، وإنشاء احتياطيات حول أعمال Xiaomi ، وإخراج "الذخيرة" عندما تحتاجها المجموعة.
فيما يتعلق بتقنية الذكاء الاصطناعي ، يجب أن يكون لدينا أكثر الاحتياطيات اكتمالاً في الشركة ، كما أننا أقوياء جدًا في هذه الصناعة.
** Shen Ran: ما هي الإنجازات البحثية الهامة لمختبر Xiaomi AI؟ **
** وانج بين: يؤكد مفهوم مختبر الذكاء الاصطناعي لدينا على الجمع بين التكنولوجيا والسيناريوهات. حاليًا ، لا تعتبر الأوراق المنشورة OKR **. لذلك ، بعد أن جئت إلى Xiaomi من الأكاديمية الصينية للعلوم (الأكاديمية الصينية للعلوم) ، أشعر أن الإنجاز الأكبر ليس التقدم في نقطة واحدة من التكنولوجيا ، ولكن التكامل المبتكر للتكنولوجيا والمنتجات.
Xiaomi هي شركة To C. لا يتم تصدير مخرجات قدرات الذكاء الاصطناعي الخاصة بنا مباشرة إلى العالم الخارجي في الوقت الحالي ، ولكن من خلال منتجات الشركة. لقد حققنا الكثير من الإنجازات ، بما في ذلك العديد من خوارزميات معالجة الكاميرا وألبوم الصور في هواتف Xiaomi المحمولة ، وخوارزميات الصوت و NLP المتضمنة في Xiao Ai ، وخوارزميات الذكاء الاصطناعي في أنظمة التوصية والبحث وخدمة العملاء في Xiaomi Mall.
دعني أعطيك مثالاً. لقد طورنا وظيفة ترجمة دون اتصال بالإنترنت على هاتفنا المحمول. على سبيل المثال ، بعد السفر إلى الخارج ، لم تعد الشبكة جيدة في كثير من الحالات. في هذا الوقت ، قم بتشغيل وظيفة الترجمة للهاتف المحمول Xiaomi ، دون الانتقال إلى السحابة. في حالة عدم الاتصال بالإنترنت ، يكون الوقت الفعلي والخصوصية وتأثير الترجمة أفضل. إن تنفيذ هذه الوظيفة وتطبيقها ليس بالأمر السهل ، فقد قمنا بالكثير من أعمال التحسين على تأثيرات الترجمة والأداء.
** في Xiaomi ، لن يتم استخدام التكنولوجيا الخاصة بنا أولاً. يجب أن تتنافس التكنولوجيا الداخلية أيضًا مع التكنولوجيا الخارجية بطريقة عادلة. يمكن للفائز فقط البقاء على قيد الحياة وتطبيقه على المنتجات. **
** Shenran: ما هي شركات Xiaomi التي ستتأثر بتقنية النماذج واسعة النطاق التي يمثلها ChatGPT؟ **
** وانج بين: ** أقوى قدرة للنموذج الكبير ، بعبارات بسيطة ، هي أنه يفهم الناس بشكل أفضل ، ويمكنه بوضوح تحسين طريقة التفاعل بين الإنسان والحاسوب. زملاء Xiaomi Xiao Ai ، ونظام تشغيل الهاتف المحمول MIUI ، وقمرة قيادة السيارة ، وإنترنت الأشياء ، والروبوتات كلها سيناريوهات نموذجية حيث يتم تطبيق النماذج الكبيرة.
** Shen Ran: هل يمكنك استخدام Xiao Ai كمثال؟ **
وانغ بين: بالتطبيق على Xiao Ai ، يمكن أن تفعل شيئين في نفس الوقت. الأول هو جعل المستحيل ممكناً ، وهو ما يعادل وجود وظائف جديدة. على سبيل المثال ، طلبت من Xiao Ai وضع خطة سفر أو طلب وجبات ، وما إلى ذلك. لم تتحقق القدرة التقنية الأصلية ، وإذا وضعها المستخدم بطريقة أخرى ، فسيتم إفسادها. لكن ** بدعم من النماذج الكبيرة ، لديها فهم أعمق للكلام البشري ، بحيث يمكن إكمال المهام المعقدة ** ، وهذا النوع من التطبيقات ممكن.
فئة أخرى هي تحسين الوظيفة الأصلية ، والتي تعادل طبقة الجليد على الكعكة. نظرًا لقابلية وتنوع التعبيرات البشرية ، في عملية تفاعل Xiaoai بين الإنسان والحاسوب ، فإن المشكلة الأكبر هي مواجهة أحداث احتمالية صغيرة. نسميها حالة الزاوية ، وعادةً ما نتبنى استراتيجية محافظة للسماح لـ Xiaoai بالقول ، "يمكنني" ر إجابة "،" ما زلت أتعلم "**. يمكن لهذا النوع من الإجابة الأساسية أيضًا أن يواصل المحادثة ، لكن التجربة ليست جيدة. لكن تقنية النموذج الكبير يمكنها الاستمرار في الحوار لفترة أطول ، وتحسين رضا المستخدم بشكل كبير.
** شنران: هل للنموذج الكبير تأثير كبير على المنزل الذكي؟ **
** وانج بين: ** وفقًا لفهمي الشخصي ، يمكن للنموذج الكبير على الأقل تحسين تجربة المستخدم في المنزل الذكي من حيث القدرات التفاعلية.
على الرغم من وجود العديد من الأجهزة التي تدعي أنها "ذكية" ، إلا أنها غالبًا ما تتصرف مثل "المتخلفين عقليًا" ومعدل الاستخدام ليس مرتفعًا. على سبيل المثال ، تشغيل مكيف الهواء أو ضبط درجة حرارة مكيف الهواء ، إذا كان البيان مختلفًا عن الأمر القياسي ، فقد لا يكون من الممكن التحكم في جهاز إنترنت الأشياء.
ولكن بعد وصول النموذج الكبير ، أصبح لديه فهم أعمق للغة البشرية. وفي كثير من الحالات ، هناك العديد من التعبيرات ، ويمكن للنموذج الكبير أن يترجم تعبير المستخدم إلى تعليمات يمكن للآلة فهمها. سيؤدي ذلك إلى دفع المزيد من الأشخاص إلى استخدام الأجهزة الذكية والسماح للنظام البيئي بأكمله بالنمو بشكل أسرع.
** Shenran: بالإضافة إلى تحسين الأعمال الحالية ، هل هناك أشياء أخرى لم تستطع Xiaomi فعلها من قبل ، ولكن من الممكن القيام بها بعد امتلاك نموذج كبير؟ **
** وانج بين: ** سنقوم بتعاون عميق بين النموذج الكبير وهذه الشركات. بالطبع ، بالإضافة إلى ذلك ، نحن نبحث أيضًا عن المزيد من الإمكانيات.
كتب فريقنا العديد من المقالات للترويج للنماذج الكبيرة داخل الشركة ، بما في ذلك المفهوم والتطوير التكنولوجي للنماذج الكبيرة ، ولتعليم الجميع كيفية استخدام ChatGPT لحل مشاكل العمل. طلب السيد Lei من كل قسم تعلم النماذج واسعة النطاق ، ويتطلب من كل فرد أن يكون لديه تفكير أساسي بنموذج واسع النطاق والتفكير في كيفية الاندماج مع الأعمال.
شاهد النسخة الأصلية
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
نموذج Xiaomi كبير ، لا تشارك في "ChatGPT"
المصدر: Shen Ran، المؤلفون: Jin Yufan، He Shulong، Editor: He Shulong
بعد نصف عام من إطلاق ChatGPT ، استمرت مطاردة النماذج على نطاق واسع على جانبي المحيط الهادئ.
التحالف الذي شكلته شركة OpenAI و Microsoft و Nvidia يعمل على الساحل الشرقي للمحيط الهادئ. منذ مارس من هذا العام ، تابعت شركات التكنولوجيا الصينية بشكل عاجل. أطلقت بايدو ، وعلي ، وسنس تايم ، وآي فلايتيك منتجات "شبيهة بـ ChatGPT". Tencent و Huawei و JD. الأوقات هي أيضًا فرص "أكبر بعشر مرات".
في لحظة "حرب المائة موديل" ، يبدو أن شركة Xiaomi ، باعتبارها شركة تكنولوجيا محلية كبيرة ، تتمتع بهدوء غير عادي.
قال Lei Jun ، رئيس Xiaomi ، إن Xiaomi تقوم بتطوير بعض التقنيات والمنتجات ، وسوف تعرضها للجميع بعد صقلها. قال Lu Weibing ، رئيس مجموعة Xiaomi ، إن Xiaomi لديها حاليًا فريق AI يضم أكثر من 1200 شخص ، وسوف تتبنى بنشاط نماذج واسعة النطاق وتدمجها مع عمق الأعمال ، ولكنها لن تصنع نماذج واسعة النطاق للأغراض العامة مثل OpenAI .
عمقت هذه المعلومات شكوك العالم الخارجي: هل ستنضم Xiaomi إلى "حرب المائة موديل"؟
قال الدكتور وانج بين ، مدير مختبر الذكاء الاصطناعي في مجموعة Xiaomi ، لشينران إن ** Xiaomi ستطور نموذجًا كبيرًا للأغراض العامة بنفسها ، لكنها لن تطلق منتجًا شبيهًا بـ ChatGPT بمفردها "، ولن تصدر PPT ، أو تعرض بعض الأمثلة ، لنفترض أن لدينا نموذجًا كبيرًا "** ، ولكن النموذج الكبير الذي تم تطويره ذاتيًا سيتم طرحه في النهاية بواسطة المنتج.
هذه هي المرة الأولى التي يتم فيها الكشف عن مسار وتقدم النموذج الكبير للعالم الخارجي بعد أن أعلنت Xiaomi رسميًا عن فريق الطراز الكبير. في 14 أبريل من هذا العام ، أعلنت Xiaomi أن فريق الطراز الكبير سيقود من قبل Luan Jian وسيقدم تقريرًا إلى Wang Bin. شارك Wang Bin في البحث والتطوير المتعلقين بمعالجة اللغة الطبيعية (NLP) في الأكاديمية الصينية للعلوم لأكثر من 20 عامًا.انضم إلى Xiaomi في 2018 وكان مسؤولاً عن مختبر الذكاء الاصطناعي منذ عام 2019. مختبر الذكاء الاصطناعي هو القسم الأساسي لاستراتيجية Xiaomi للذكاء الاصطناعي.
Xiaomi ، الذي صنع نموذجًا للحوار على نطاق واسع ، هو عقلاني نادر في نموذج اللغة واسع النطاق المدربين مسبقًا للأغراض العامة. كشف وانغ بين أن ** يوجد حاليًا أكثر من 30 فريقًا للنماذج كبيرة الحجم تعمل بدوام كامل ** ، ولن تتوسع بسرعة على الفور ؛ لا يزال هدف هذا الفريق هو نموذج لغة واسع النطاق ، ومعلمات النموذج الأساسي المستهدف من الخطوة الأولى عشرات المليارات ** ، ثم بناءً على نتائج التسلق السابقة ، سيتم تحديد الخطوة التالية.
"لا يزال هناك طريق طويل لنقطعه من تطوير النماذج الكبيرة إلى الهبوط. ما إذا كان بإمكانهم العثور على مشاهد مهمة مناسبة هو نقطة ألم للعديد من شركات النماذج واسعة النطاق." من وجهة نظر وانغ بين ، فإن ميزة Xiaomi هي أن لديها ما يكفي من النماذج الكبيرة الجاهزة.يمكن لسيناريوهات الهبوط ، بما في ذلك Xiao Ai ، و loT ، والقيادة الذاتية ، والروبوتات ، وما إلى ذلك ، سيناريوهات التطبيق الغنية أن تغذي أيضًا قدرة النماذج الكبيرة.
لا يوجد لدى Xiaomi نقص في السيناريوهات ، ولكن لتدريب نموذج كبير ، لا غنى عن تراكم البيانات وقوة الحوسبة والمواهب. قال وانغ بين إن Xiaomi لديها احتياطي معين من المواهب ، والتحديات من حيث قوة الحوسبة وحجم البيانات كبيرة نسبيًا. من ناحية أخرى ، تحتاج قوة الحوسبة للتغلب على التحديات على مستوى النظام ، ويجب أن تكون تكلفة التدريب قابلة للتحكم ؛ من ناحية أخرى ، يستغرق الحصول على بيانات عالية الجودة وتنظيفها الكثير من الوقت والتكلفة.
في الموجة الجديدة لنماذج الذكاء الاصطناعي الكبيرة ، لماذا لا يُصدر فريق Xiaomi AI "منتجات شبيهة بـ ChatGPT"؟ كيف يحكم Xiaomi على المسار الفني والصعوبة الفنية للنموذج الكبير؟ قبل أيام قليلة ، أجرى He Shulong ، رئيس تحرير Shenran ، حوارًا مع Wang Bin ، مدير مختبر الذكاء الاصطناعي التابع للجنة Xiaomi التقنية. فيما يلي المحتوى الأساسي:
نموذج Xiaomi الكبير: 30 شخصًا في الفريق ، لا يشبه ChatGPT
** Shen Ran: في 14 أبريل ، عينت Xiaomi Luan Jian كرئيس لفريق الطراز الكبير لتقديم تقرير إليك. هل يمكنك إخبارنا كيف ولد فريق طراز Xiaomi الكبير؟ **
** وانج بين: ** تم الإعلان عن الفريق النموذجي الكبير في أبريل ، لكنه بدأ بالفعل العمل قبل ذلك.
في 30 نوفمبر من العام الماضي ، بعد أن أصدرت شركة OpenAI ChatGPT ، قام عدد منا بسرعة بتسجيل حساب وبدأ اللعب عليه. إن ChatGPT عمل تخريبي بالفعل ، فنحن نعمل على الذكاء الاصطناعي منذ سنوات عديدة ، وقد تجاوزت العديد من قدراته توقعات مطورينا.
بعد فترة وجيزة ، قمنا بتنظيم عدد من مجموعات اتصالات النماذج الداخلية واسعة النطاق لمناقشة تكنولوجيا النماذج واسعة النطاق وتأثيرها التخريبي على الترجمة الآلية ، والحوار بين الإنسان والآلة ، والإجابة الذكية للأسئلة ، وخدمة العملاء. ** أصبح العديد من الأشخاص الذين شاركوا في ورش العمل المبكرة فيما بعد أعضاءً رئيسيين في فريق نموذج بالحجم الطبيعي بدوام كامل. **
** Shen Ran: هل سيتأخر فريق طراز Xiaomi واسع النطاق قليلاً؟ **
** وانج بن: ** بالنسبة للموديلات الكبيرة ، نحن ننتمي إلى المدرسة العقلانية.
قبل ولادة ChatGPT ، أجرت Xiaomi بحثًا داخليًا وتطويرًا وتطبيقًا لنماذج كبيرة ، بشكل أساسي في شكل تدريب مسبق + الإشراف على المهام النهائية والضبط الدقيق للحوار بين الإنسان والآلة ، وكانت معلمات النموذج في المليارات. بالطبع ، هذا النوع من النماذج ليس نموذجًا واسع النطاق للأغراض العامة كما يطلق عليه الآن.
نحن واضحون جدًا أن تطوير النموذج العام الكبير وتطبيقه هو عمل طويل الأمد وليس مسألة وقت. كنا نسير وفقًا لخطتنا الزمنية وخطواتنا. في ذلك الوقت ، شعرنا أن الوقت قد حان ، لذلك أصدرنا إصدارًا للفريق.
** شين ران: كم عدد الأشخاص في فريق العارضات الكبير؟ هل هناك أي خطط لمواصلة التوسع؟ **
** وانغ بين: ** يضم الفريق الرئيسي حاليًا أكثر من 30 شخصًا. نقوم حاليًا بالتحضير وفقًا لجوانب المواهب والبيانات والنماذج وقوة الحوسبة والتقييم والمنتجات ، ثم نعدل أو نتوسع تدريجياً بعد مرحلة معينة.
لن نقوم على الفور بزيادة عدد الأشخاص ، مثل تجنيد 100 شخص في وقت واحد. لأنه في مرحلة التسلق لتراكم القدرات ، قد لا يعرف تجنيد الكثير من الأشخاص كيفية ترتيب ذلك ، ولكنه يعد إهدارًا.
مع الكشف المستمر عن المعلومات حول النماذج الكبيرة والتدفق المستمر لرأس المال والمواهب ، تطور مجال النماذج الكبيرة بسرعة كبيرة ، وتغيرت آراء الجميع بشكل كبير. عندما ظهر ChatGPT لأول مرة منذ وقت ليس ببعيد ، شعر الجميع أنه من المستحيل أساسًا تحقيق نموذج مشابه واسع النطاق ، ولكن ببطء ، شعر الكثير من الناس أن الاحتمالية كانت عالية جدًا ، واعتقد بعض الناس أن العديد من المنتجات يمكن أن تكون راضية بدون مثل هذا نموذج واسع النطاق. الطلب. كما أن كثافة الاستثمار لدى كل شخص مختلفة تمامًا. قد يعتقد بعض الناس أن الفريق يحتاج على الأقل بضع مئات من الأشخاص ، ويعتقد البعض أنه ليس ضروريًا.
** شنران: هل هناك خطط مرحلية للمستقبل ومتى يتم اختبارها داخليا وإصدارها خارجيا؟ **
** وانج بين: ** على عكس الشركات الأخرى ، ولدت Xiaomi بسمات المنتجات ، وأعتقد أنه عند طرح الطراز الكبير من Xiaomi ، يتم طرحه بواسطة المنتج.
قد نختبر داخليًا قبل Q3. ومع ذلك ، هذه ليست عقدة حتمية.
** Shen Ran: بمعنى آخر ، لن تصدر Xiaomi منتجًا شبيهًا بـ ChatGPT؟ **
** وانج بين: ** نعم ، لن نصدر PPT ، أو نثبت أن لدينا نموذجًا كبيرًا. سيناريوهات التطبيق الغنية هي أكبر ميزة لدينا. ** سيتم دمج طراز Xiaomi الكبير بشكل أوثق مع المشهد ، ويجب وضع خطة الإصدار المقابلة حول إيقاع المنتج. **
** شنران: بالإضافة إلى القوى العاملة ، ما هي تكلفة القدرة الحاسوبية لشركة Xiaomi لصنع نموذج كبير؟ **
** وانج بين: ** نحن استثمار متوسط الحجم ، وسنقرر الخطوة التالية للاستثمار بناءً على نتائج الصعود السابق.
حكمنا الأساسي هو أن النموذج المناسب لمنتجات Xiaomi والشركات قد يكون لها معلمات في عشرات المليارات ** ، والتي ستكون أقل من مقياس 100 مليار ، والاستثمار في آلات التدريب حوالي عشرات الملايين من اليوان.
** Shen Ran: كيف يكون النموذج الذي يحتوي على مليارات من المعلمات من صنع Xiaomi من قبل؟ **
** وانج بين: ** ChatGPT الذي تم إصداره العام الماضي هو نوع من نموذج واسع النطاق ، يُطلق عليه اسم نموذج كبير للغة مُدرَّب مسبقًا للأغراض العامة. لكن النموذج الكبير نفسه ظهر في وقت مبكر جدًا ، ولكل شخص طرق وطرق مختلفة.
بدأنا في متابعة النموذج الكبير في وقت سابق. في ذلك الوقت ، صنعنا نموذجًا خاصًا بالحوار مع حوالي 2.8 مليار إلى 3 مليار معلمة. يتم تحقيقه من خلال ضبط بيانات الحوار على أساس النموذج الأساسي المدرب مسبقًا. إنه ليس النموذج الكبير الحالي للأغراض العامة ، ولكنه مخصص للحوار بين الإنسان والآلة. الجنس ، دعه يستمر. في وقت لاحق ، تم إطلاق هذا النموذج إلى Xiaoai ، وتم إجراء اختبار صغير الحجم عبر الإنترنت.
لذلك ، تم استخدام AIGC بالفعل في Xiao Ai ، ولكن على مستوى المنتج ، لا نستخدم هذا النموذج الكبير بالكامل ، ولكننا نستخدم تكامل النموذج التقليدي ونموذج الحوار الكبير لاستخدام الاثنين معًا.
** من المحتمل أن يكون الطراز الكبير للأغراض العامة من Xiaomi هو هذا النموذج الهجين عند إطلاقه في المنتج **. يتم تسليم المشكلات التي يعالجها النموذج التقليدي جيدًا إلى النموذج التقليدي. يحل النموذج الكبير المشكلات التي يجيد حلها ، مثل بعض الأحداث الاحتمالية الصغيرة أو الحوارات الطويلة.
مستوى الحوار للنموذج الكبير للأغراض العامة الذي تم طرحه الآن أعلى بكثير من مستوى النموذج الكبير المخصص للحوار السابق ، لذلك تم نقل هذا الجزء من الفريق أيضًا إلى النموذج الكبير للأغراض العامة. خاض هذا الفريق عملية التدريب الكاملة لنموذج الحوار الكبير ، وتسلق بعض الحفر ، ومع تراكم البيانات ، فإن له مزايا معينة.
نموذج الدخن الكبير: المشهد مهيمن ، والبيانات مشكلة
** شنران: خلال هذه الفترة الزمنية ، كان التقدم التكنولوجي سريعًا للغاية ، ويتم إطلاق النماذج المحلية واسعة النطاق بشكل مكثف ، فهل ستشعر بالقلق بسبب التقدم البطيء؟ **
** وانج بين: ** اعتدت أن أكون قلقًا للغاية لفترة من الوقت ، لأنني شعرت بالذعر قليلاً إذا لم ينتهي بي الأمر بفعل ذلك طوال الوقت ، وستفكر ، "كيف يمكن للآخرين أن يحرزوا مثل هذا التقدم السريع و جعلها كلها مرة واحدة؟ "الآن ننزل للقيام بذلك لا مزيد من القلق.
** يقال إن الصين الآن "حرب المائة نموذج" ، وتم إصدار أكثر من 80 نموذجًا كبيرًا ** ، بعضها يوفر اختبارًا داخليًا ، وبعضها تم إصداره فقط بواسطة PPT. لا يزال تأثير بعض النماذج جيدًا ، وانطلاقًا من مستوى الإصدار ، لا يبدو أن مستوى النماذج الكبيرة الحالية التي طورناها ذاتيًا أسوأ من العديد من النماذج. لكننا لسنا في عجلة من أمرنا للقيام بإصدار خارجي. أولاً ، بالنسبة لشركة مثل Xiaomi ، لا معنى لذلك. ثانيًا ، ما زلنا نأمل في جعل النموذج المطور ذاتيًا أفضل حول المنتج ، ثم إطلاقه معًا.
** شنران: هل تعتقد أن النماذج الكبيرة للشركات المحلية لديها فرصة للحاق بركب شركة أوبن إيه آي؟ ما هو حجم الفجوة؟ يحبون استخدام ثلاثة أشهر وستة أشهر لوصف ذلك. **
** وانج بين: ** في الوقت الحالي ، يجب أن تكون شركة OpenAI متقدمة جدًا ، فقد استثمرت مبكرًا ولديها تراكم قوي جدًا في المواهب والبيانات وقوة الحوسبة والهندسة والمنتجات. من الوضع الداخلي ، أشعر أنه لا تزال هناك فجوة معينة بين OpenAI و OpenAI. يقول البعض إنها ثلاثة أشهر أو ستة أشهر ، بينما يقول آخرون إنها سنة أو سنتين. من حيث الوقت ، من الصعب القول.
لأن كيفية تقييم نموذج كبير هي مشكلة صعبة للغاية في حد ذاتها. يوجد الآن تصنيفات لنماذج كبيرة مختلفة ، لكن لم يتم التعرف على أي منها بالإجماع من قبل الجميع. ** لا يوجد معيار تقييم حقيقي ، لذا فإن الحديث عن اللحاق بالركب في ثلاثة أشهر أو ستة أشهر هو مجرد صفعة على الوجه. **
فيما يتعلق بما إذا كان من الممكن للصين اللحاق بـ OpenAI ، كنت متشائمًا في الأيام الأولى واعتقدت أنه كان مستحيلًا تقريبًا ، ولكن مع تدفق العديد من الحلول مفتوحة المصدر والفرق المختلفة ورأس المال ، فإن رأيي أكثر تفاؤلاً. أعتقد أن الصين لديها الفرصة لتضييق المسافة مع OpenAI ، للاقتراب منها أو حتى تجاوزها في العديد من السيناريوهات.
** لا يبدو أن النماذج الكبيرة تتمتع بمثل هذه العتبة العالية للرقائق. فمن خلال التراكم المستمر وتحسين المواهب والبيانات وقوة الحوسبة وما إلى ذلك ، من الممكن تضييق الفجوة باستمرار. **
** شنران: ما هي أنواع الشركات المحلية التي تتمتع بمزايا أكثر في النماذج الكبيرة؟ أين فرصة Xiaomi؟ **
** وانج بين: ** بغض النظر عن الشركات الكبيرة أو الشركات الناشئة الصغيرة والمتوسطة ، لكل منها مساحة معيشية خاصة بها. النموذج الكبير هو بيئة ، ولا يمكن لأي واحد كبير أن يأخذ كل شيء ، فجميع الشركات في البيئة ، بما في ذلك قوة الحوسبة والبيانات والتطبيقات والشركات التي تصنع نماذج كبيرة حقًا ، لديها فرصها الخاصة.
تتمتع النماذج واسعة النطاق مثل Xiaomi بميزة سيناريوهات التطبيق. نعتقد أن الجمع بين النماذج الكبيرة والمشاهد سيكون فرصة كبيرة.
لأنه إذا أصدرت للتو نموذجًا كبيرًا ولم يستخدمه أحد ، فقد لا يكون قادرًا على التطور بسرعة من خلال التدحرج. ويمكننا الهبوط فورًا على المشهد ، ومن خلال التكرار المستمر ، يمكننا إعطاء دور كامل لقوة النموذج الكبير في هذه المشاهد.
على الرغم من أننا ندمج حاليًا فريقًا رئيسيًا فقط يتكون من أكثر من 30 شخصًا ، إلا أنه يوجد في الواقع الكثير من الأشخاص على الهامش. في مختبر الذكاء الاصطناعي بأكمله ، هناك أكثر من 100 شخص لديهم خلفية البرمجة اللغوية العصبية ويقومون بتطبيقات محددة ، بما في ذلك الرسم البياني للمعرفة ، والترجمة الآلية ، والحوار بين الإنسان والآلة ، وخدمة العملاء الذكية ، والإجابة الذكية للأسئلة. إنهم جميعًا أشخاص لديهم التفكير الأساسي في النماذج الكبيرة والتقنيات ذات الصلة ، ويقومون بالترويج لاستكشاف النماذج الكبيرة من منظور تطبيقاتهم الخاصة.
** Shen Ran: ما هي قيمة تراكم Xiaomi في أبحاث البرمجة اللغوية العصبية للطرز الكبيرة؟ **
** وانغ بن: ** هناك رأيان في الصناعة. طريقة واحدة للقول هي أن هؤلاء منا قد لا يكون لديهم وظائف ، وقد قتلنا الذكاء الاصطناعي ، خاصة أولئك الذين يعملون في البرمجة اللغوية العصبية قد لا يكون لديهم وظائف. هناك أيضًا قول مأثور مفاده أن النموذج الكبير مصنوع من البرمجة اللغوية العصبية (NLP) ، وأولئك الذين يقومون بمعالجة اللغات الطبيعية لديهم مزايا متأصلة.
كلا هذين البيانين لهما بعض الحقيقة ، ولكن بعد كل شيء ، يتعلق الأمر بعملي ، فأنا أكثر ميلًا إلى العبارة الأخيرة.
تم استكشاف النماذج الكبيرة في الأصل في مختلف المجالات ، بما في ذلك الرؤية والكلام ومعالجة اللغة الطبيعية. ** ولكن لماذا يعد هذا الاختراق الأول في مجال البرمجة اللغوية العصبية ، أعتقد أن هناك أسبابًا أساسية لذلك **. أفهم نقطتين على الأقل: الأولى هي ثراء البيانات اللغوية وسهولة توفرها ، والثانية هي أن هناك معرفة غنية جدًا تعكس عملية التفكير البشري المخفية وراء بيانات اللغة.
لذلك أعتقد أن الأشخاص الذين تراكموا في مجال البرمجة اللغوية العصبية لسنوات عديدة لديهم مزايا فطرية معينة في فهم النماذج الكبيرة وتحويلها. عمل العديد من أعضاء فريق نموذج Xiaomi واسع النطاق في الأصل في اتجاه البرمجة اللغوية العصبية. العديد من الشركات الناشئة التي تجيد صنع نماذج واسعة النطاق في الصين خرجت أيضًا من مجال البرمجة اللغوية العصبية.
** Shen Ran: ما هي الصعوبات الحالية التي تواجه Xiaomi للتغلب على النموذج الكبير؟ كيف تتغلب عليها؟ **
** وانج بين: ** بادئ ذي بدء ، ما زلت أريد أن أقول إن النموذج الكبير نفسه يواجه تحديات ضخمة للغاية.
التحدي الكبير هو عدم اليقين من ** التكنولوجيا **. لقد رأينا بعض التقارير ، وحتى فريق OpenAI أنفسهم ليسوا واضحين تمامًا بشأن المبادئ الحقيقية وراء النموذج الكبير ، وإذا فعلوا ذلك مرة أخرى ، فهم غير متأكدين مما إذا كانت النتائج "الناشئة" نفسها ستحدث. أعتقد أن أوبن إيه آي تقول الحقيقة بشأن هذه النقطة ، وبسبب عدم اليقين الكبير في التكنولوجيا ، لا يمكن للاستثمار أن يضمن إمكانية تدريب نموذج كبير يلبي التوقعات.
يشكل تراكم البيانات عالية الجودة تحديًا أيضًا. يُعتقد عمومًا أن النماذج الكبيرة تتطلب بيانات تدريب كبيرة جدًا وعالية الجودة. تعتبر جودة البيانات المتاحة للجمهور على الإنترنت رديئة نسبيًا بشكل عام ، لذا فإن الحصول على البيانات وتنظيفها ** يمثلان تحديات كبيرة نسبيًا. **
التحدي الآخر هو بالطبع ** قوة الحوسبة **. بادئ ذي بدء ، هذا لا يعني أن هناك الكثير من البطاقات التي يمكن تدريبها ، وكيفية الاستفادة الجيدة من هذه البطاقات هو تحدٍ على مستوى النظام في حد ذاته. ثانيًا ، لأنه قد يتم ارتكاب أخطاء أثناء عملية التدريب ، فقد يتم حرق الأموال ، ولا يمكن حرق أي شيء ، لذلك يعتمد الأمر على ما إذا كان لديك القدرة على تدريب نموذج كبير بتكلفة يمكن التحكم فيها.
من الناحية العملية ، لا تزال التحديات الحالية ** للبيانات وقوة الحوسبة كبيرة نسبيًا ، لا سيما البيانات عالية الجودة على نطاق واسع **. بعد فترة التسلق السابقة ، نحن الآن على يقين من أنه طالما أن البيانات موجودة وتستخدم قوة الحوسبة الحالية ، يمكننا على الأرجح معرفة عدد الأيام التي سيستغرقها تدريب نموذج أساسي جيد.
** شنران: هل تم تخفيض تكلفة تدريب النماذج الكبيرة الآن؟ **
** وانج بن: ** من ناحية أخرى ، فإن تكلفة التجربة والخطأ أقل من ذي قبل. نظرًا لأن التدريب على النموذج الكبير قد يستغرق منعطفات ويفشل ، ولكن مع الكشف عن المعلومات المختلفة ، من الممكن العثور بسرعة على الاتجاه الصحيح للتدريب. من ناحية أخرى ، تقدم العديد من شركات الحوسبة السحابية والشرائح وغيرها من الشركات ، بالإضافة إلى العديد من الشركات المبتدئة ، خدمات تدريب واستدلال على نماذج كبيرة منخفضة التكلفة. مع زيادة تطوير البيئة بأكملها ، أعتقد أن تكلفة التدريب ستستمر في الانخفاض.
كيف يؤثر النموذج الكبير على أعمال Xiaomi؟
** Shen Ran: هل يمكنك تقديم Xiaomi AI Lab الذي أنت مسؤول عنه بالتفصيل؟ **
** وانغ بين: ** بعد ولادة "AlphaGo" في عام 2016 ، قام السيد Lei على الفور بترقية بناء فريق الذكاء الاصطناعي. تم إنشاء مختبر الذكاء الاصطناعي رسميًا في عام 2016 ، وأنا مسؤول منذ عام 2019.
اتضح أن مختبر الذكاء الاصطناعي هو جزء من وزارة الذكاء الاصطناعي. في وقت لاحق ، تم دمج قسم الذكاء الاصطناعي في اللجنة الفنية للمجموعة ، والآن أصبح مختبر الذكاء الاصطناعي تحت إشراف اللجنة الفنية مباشرة.
يبلغ حجم الفريق الحالي لمختبر الذكاء الاصطناعي حوالي 350 شخصًا ، وله ستة اتجاهات ، وهي التعلم الآلي ومعالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر والصوتيات والكلام والرسوم البيانية المعرفية.
بعد ظهور النموذج الكبير ، أنشأ مختبر الذكاء الاصطناعي فريقًا نموذجيًا كبيرًا بدوام كامل.نحن نركز الآن على نموذج اللغة الكبير ، لكننا أيضًا نولي اهتمامًا للنموذج الكبير عبر الوسائط.
** شين ران: قال السيد لو (رئيس Xiaomi Group Lu Weibing) أن فريق Xiaomi AI يضم حاليًا أكثر من 1200 شخص. بالإضافة إلى مختبر الذكاء الاصطناعي ، ما هي الأقسام الأخرى داخل Xiaomi التي ترتبط ارتباطًا وثيقًا بالذكاء الاصطناعي؟ **
** وانغ بين: ** بالإضافة إلى مختبر الذكاء الاصطناعي ، هناك أيضًا فريق Xiao Ai ، وكلاهما يخضعان للجنة الفنية.
بالإضافة إلى اللجنة الفنية ، هناك العديد من الأقسام التي بها فرق كبيرة نسبيًا للذكاء الاصطناعي ، بما في ذلك قسم الطيار الآلي في قسم السيارات ، وقسم الكاميرا في الهاتف المحمول ، وقسم البرمجيات. بالإضافة إلى نمو المستخدم والتوصيات الإعلانية في ترتبط جميع أقسام الأعمال التجارية عبر الإنترنت بالذكاء الاصطناعي.
باختصار ، بعض الفرق ذات الصلة بالذكاء الاصطناعي موجودة في قسم الأعمال ، والبعض الآخر في اللجنة الفنية. العدد الإجمالي هو حوالي 1200. إذا كنت تفكر في بعض الفرق الصغيرة ، فأنا شخصياً أعتقد أن هذا الرقم أكبر.
** Shen Ran: ما هو دور Xiaomi AI Lab في إستراتيجية Xiaomi للذكاء الاصطناعي؟ **
** وانج بين: ** AI Lab هو قسم البحث والتطوير والإخراج لتقنية الذكاء الاصطناعي على مستوى المجموعة. وفقًا لشروط الشخص العادي ، نقوم بتصدير تقنية الذكاء الاصطناعي إلى الشركة بأكملها.
لقد قارنا مرة واحدة معمل الذكاء الاصطناعي بـ "المجال التجريبي" و "مستودع الذخيرة" لتقنية الذكاء الاصطناعي على مستوى المجموعة. بسبب التطور السريع للذكاء الاصطناعي ، سيقوم مختبر الذكاء الاصطناعي بتطوير بعض التقنيات المتطورة على المدى المتوسط والطويل ، وإنشاء احتياطيات حول أعمال Xiaomi ، وإخراج "الذخيرة" عندما تحتاجها المجموعة.
فيما يتعلق بتقنية الذكاء الاصطناعي ، يجب أن يكون لدينا أكثر الاحتياطيات اكتمالاً في الشركة ، كما أننا أقوياء جدًا في هذه الصناعة.
** Shen Ran: ما هي الإنجازات البحثية الهامة لمختبر Xiaomi AI؟ **
** وانج بين: يؤكد مفهوم مختبر الذكاء الاصطناعي لدينا على الجمع بين التكنولوجيا والسيناريوهات. حاليًا ، لا تعتبر الأوراق المنشورة OKR **. لذلك ، بعد أن جئت إلى Xiaomi من الأكاديمية الصينية للعلوم (الأكاديمية الصينية للعلوم) ، أشعر أن الإنجاز الأكبر ليس التقدم في نقطة واحدة من التكنولوجيا ، ولكن التكامل المبتكر للتكنولوجيا والمنتجات.
Xiaomi هي شركة To C. لا يتم تصدير مخرجات قدرات الذكاء الاصطناعي الخاصة بنا مباشرة إلى العالم الخارجي في الوقت الحالي ، ولكن من خلال منتجات الشركة. لقد حققنا الكثير من الإنجازات ، بما في ذلك العديد من خوارزميات معالجة الكاميرا وألبوم الصور في هواتف Xiaomi المحمولة ، وخوارزميات الصوت و NLP المتضمنة في Xiao Ai ، وخوارزميات الذكاء الاصطناعي في أنظمة التوصية والبحث وخدمة العملاء في Xiaomi Mall.
دعني أعطيك مثالاً. لقد طورنا وظيفة ترجمة دون اتصال بالإنترنت على هاتفنا المحمول. على سبيل المثال ، بعد السفر إلى الخارج ، لم تعد الشبكة جيدة في كثير من الحالات. في هذا الوقت ، قم بتشغيل وظيفة الترجمة للهاتف المحمول Xiaomi ، دون الانتقال إلى السحابة. في حالة عدم الاتصال بالإنترنت ، يكون الوقت الفعلي والخصوصية وتأثير الترجمة أفضل. إن تنفيذ هذه الوظيفة وتطبيقها ليس بالأمر السهل ، فقد قمنا بالكثير من أعمال التحسين على تأثيرات الترجمة والأداء.
** في Xiaomi ، لن يتم استخدام التكنولوجيا الخاصة بنا أولاً. يجب أن تتنافس التكنولوجيا الداخلية أيضًا مع التكنولوجيا الخارجية بطريقة عادلة. يمكن للفائز فقط البقاء على قيد الحياة وتطبيقه على المنتجات. **
** وانج بين: ** أقوى قدرة للنموذج الكبير ، بعبارات بسيطة ، هي أنه يفهم الناس بشكل أفضل ، ويمكنه بوضوح تحسين طريقة التفاعل بين الإنسان والحاسوب. زملاء Xiaomi Xiao Ai ، ونظام تشغيل الهاتف المحمول MIUI ، وقمرة قيادة السيارة ، وإنترنت الأشياء ، والروبوتات كلها سيناريوهات نموذجية حيث يتم تطبيق النماذج الكبيرة.
** Shen Ran: هل يمكنك استخدام Xiao Ai كمثال؟ **
وانغ بين: بالتطبيق على Xiao Ai ، يمكن أن تفعل شيئين في نفس الوقت. الأول هو جعل المستحيل ممكناً ، وهو ما يعادل وجود وظائف جديدة. على سبيل المثال ، طلبت من Xiao Ai وضع خطة سفر أو طلب وجبات ، وما إلى ذلك. لم تتحقق القدرة التقنية الأصلية ، وإذا وضعها المستخدم بطريقة أخرى ، فسيتم إفسادها. لكن ** بدعم من النماذج الكبيرة ، لديها فهم أعمق للكلام البشري ، بحيث يمكن إكمال المهام المعقدة ** ، وهذا النوع من التطبيقات ممكن.
فئة أخرى هي تحسين الوظيفة الأصلية ، والتي تعادل طبقة الجليد على الكعكة. نظرًا لقابلية وتنوع التعبيرات البشرية ، في عملية تفاعل Xiaoai بين الإنسان والحاسوب ، فإن المشكلة الأكبر هي مواجهة أحداث احتمالية صغيرة. نسميها حالة الزاوية ، وعادةً ما نتبنى استراتيجية محافظة للسماح لـ Xiaoai بالقول ، "يمكنني" ر إجابة "،" ما زلت أتعلم "**. يمكن لهذا النوع من الإجابة الأساسية أيضًا أن يواصل المحادثة ، لكن التجربة ليست جيدة. لكن تقنية النموذج الكبير يمكنها الاستمرار في الحوار لفترة أطول ، وتحسين رضا المستخدم بشكل كبير.
** شنران: هل للنموذج الكبير تأثير كبير على المنزل الذكي؟ **
** وانج بين: ** وفقًا لفهمي الشخصي ، يمكن للنموذج الكبير على الأقل تحسين تجربة المستخدم في المنزل الذكي من حيث القدرات التفاعلية.
على الرغم من وجود العديد من الأجهزة التي تدعي أنها "ذكية" ، إلا أنها غالبًا ما تتصرف مثل "المتخلفين عقليًا" ومعدل الاستخدام ليس مرتفعًا. على سبيل المثال ، تشغيل مكيف الهواء أو ضبط درجة حرارة مكيف الهواء ، إذا كان البيان مختلفًا عن الأمر القياسي ، فقد لا يكون من الممكن التحكم في جهاز إنترنت الأشياء.
ولكن بعد وصول النموذج الكبير ، أصبح لديه فهم أعمق للغة البشرية. وفي كثير من الحالات ، هناك العديد من التعبيرات ، ويمكن للنموذج الكبير أن يترجم تعبير المستخدم إلى تعليمات يمكن للآلة فهمها. سيؤدي ذلك إلى دفع المزيد من الأشخاص إلى استخدام الأجهزة الذكية والسماح للنظام البيئي بأكمله بالنمو بشكل أسرع.
** Shenran: بالإضافة إلى تحسين الأعمال الحالية ، هل هناك أشياء أخرى لم تستطع Xiaomi فعلها من قبل ، ولكن من الممكن القيام بها بعد امتلاك نموذج كبير؟ **
** وانج بين: ** سنقوم بتعاون عميق بين النموذج الكبير وهذه الشركات. بالطبع ، بالإضافة إلى ذلك ، نحن نبحث أيضًا عن المزيد من الإمكانيات.
كتب فريقنا العديد من المقالات للترويج للنماذج الكبيرة داخل الشركة ، بما في ذلك المفهوم والتطوير التكنولوجي للنماذج الكبيرة ، ولتعليم الجميع كيفية استخدام ChatGPT لحل مشاكل العمل. طلب السيد Lei من كل قسم تعلم النماذج واسعة النطاق ، ويتطلب من كل فرد أن يكون لديه تفكير أساسي بنموذج واسع النطاق والتفكير في كيفية الاندماج مع الأعمال.