يتيح لنا إصدار ChatGPT وGPT-4 وما إلى ذلك رؤية سحر النموذج الكبير (LLM)، مصحوبًا بالتحديات المختلفة التي يواجهها.
مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI
كيفية جعل LLM أفضل؟ في مواجهة النماذج الكبيرة، ما هي المشاكل التي تحتاج إلى حل؟ لقد أصبح موضوعًا بحثيًا مهمًا في مجال الذكاء الاصطناعي.
في هذه المقالة، يبدأ عالم الكمبيوتر تشيب هوين من 10 جوانب ويشرح بشكل شامل التحديات التي تواجهها LLM. على وجه التحديد، يتعلق الجانبان الأولان بالهلوسة وتعلم السياق، وتشمل العديد من الجوانب الأخرى، على سبيل المثال لا الحصر، تعدد الوسائط، والهندسة المعمارية، وإيجاد بدائل GPU، وما إلى ذلك.
العنوان الأصلي:
وفيما يلي ترجمة للنص الأصلي.
1. كيفية الحد من الهلوسة
مشكلة الهلوسة هي عندما يكون النص الذي تم إنشاؤه بواسطة LLM سلسًا وطبيعيًا، ولكنه غير مخلص لمصدر المحتوى (مشكلة جوهرية) و/أو غير مؤكد (مشكلة خارجية). هذه المشكلة موجودة على نطاق واسع في LLM.
لذلك من المهم جداً التخفيف من الهلوسة ووضع مؤشرات لقياس الهلوسة، وتهتم العديد من الشركات والمؤسسات بهذا الموضوع. قال تشيب هوين إن هناك العديد من الطرق لتقليل الهلوسة في هذه المرحلة، مثل إضافة المزيد من السياق إلى الموجه، أو استخدام سلاسل التفكير، أو جعل استجابة النموذج أكثر إيجازًا.
تشمل المواد التي يمكن الرجوع إليها ما يلي:
مراجعة لأبحاث الهلوسة في توليد اللغة الطبيعية:
*كيفية وهم نماذج اللغة كرات الثلج:
تقييم ChatGPT على الاستدلال والهلوسة والتفاعل:
التعلم التقابلي يقلل من الهلوسة في المحادثات:
الاتساق الذاتي يحسن القدرة على التفكير التسلسلي للنموذج اللغوي:
كشف هلوسة الصندوق الأسود لنماذج اللغات الكبيرة التوليدية:
2. تحسين طول السياق وبنيته
التركيز البحثي الآخر لـ LLM هو طول السياق، لأن النموذج الكبير يحتاج إلى الرجوع إلى السياق عند الإجابة على أسئلة المستخدم، وكلما زاد الطول الذي يمكن معالجته، كلما كان أكثر فائدة لـ LLM. على سبيل المثال، سألنا ChatGPT "ما هو أفضل مطعم فيتنامي؟" في مواجهة هذا السؤال، يحتاج ChatGPT إلى الرجوع إلى السياق لمعرفة ما إذا كان المستخدم يسأل عن أفضل مطعم فيتنامي في فيتنام أو أفضل مطعم فيتنامي في الولايات المتحدة. الدول ليست نفس الشيء.
تحت هذا القسم الفرعي، يقدم تشيب هوين العديد من الأوراق البحثية ذات الصلة.
الأول هو "SITUATEDQA: دمج السياقات غير اللغوية في ضمان الجودة"، كلا المؤلفين من جامعة تكساس في أوستن. تقدم هذه الورقة مجموعة بيانات ضمان الجودة مفتوحة الاسترجاع SITUATEDQA، ويمكن للقراء المهتمين الاطلاع عليها لمعرفة المزيد.
ذكر تشيب هوين أنه نظرًا لأن النموذج يتعلم من السياق المقدم، فإن هذه العملية تسمى التعلم السياقي.
الورقة الثانية هي "الجيل المعزز Retri-Augmented لمهام البرمجة اللغوية العصبية كثيفة المعرفة" تقترح هذه الورقة RAG (الجيل المعزز Retri) الذي يمكنه الجمع بين نماذج اللغة المدربة مسبقًا والمعرفة الخارجية لتحقيق إجابة الأسئلة التوليدية ذات المجال المفتوح والمعرفة الأخرى. المهام المكثفة.
تنقسم عملية تشغيل RGA إلى مرحلتين: مرحلة القطع (المعروفة أيضًا باسم الاسترجاع) ومرحلة الاستعلام:
يعتقد الكثير من الناس، بناءً على هذا البحث، أنه كلما زاد السياق، زادت المعلومات التي سيحشرها النموذج وكانت استجابته أفضل. يعتقد تشيب هوين أن هذا البيان ليس صحيحًا تمامًا.
إن مقدار السياق الذي يمكن أن يستخدمه النموذج ومدى كفاءة النموذج في استخدام السياق هما سؤالان مختلفان تمامًا. ما يتعين علينا القيام به هو زيادة كفاءة سياق معالجة النموذج بالتوازي مع زيادة طول سياق النموذج. على سبيل المثال، في ورقة "ضائعة في المنتصف: كيف تستخدم نماذج اللغة سياقات طويلة"، تصف الورقة كيف يمكن للنموذج أن يفهم بشكل أفضل المعلومات الموجودة في بداية الفهرس ونهايته، بدلاً من المعلومات الوسطى.
3. الوسائط المتعددة
يعتقد تشيب هوين أن تعدد الوسائط مهم جدًا.
أولاً، تتطلب المجالات بما في ذلك الرعاية الصحية والروبوتات والتجارة الإلكترونية وتجارة التجزئة والألعاب والترفيه وما إلى ذلك بيانات متعددة الوسائط. على سبيل المثال، يتطلب التنبؤ الطبي محتوى نصيًا مثل ملاحظات الطبيب واستبيانات المريض، بالإضافة إلى معلومات الصور مثل الأشعة المقطعية والأشعة السينية والتصوير بالرنين المغناطيسي.
ثانيًا، يعد تعدد الوسائط بتحسين أداء النموذج بشكل كبير، حيث يكون أداء النماذج التي يمكنها فهم النص والصور أفضل من النماذج التي يمكنها فهم النص فقط. ومع ذلك، فإن النماذج المستندة إلى النصوص تتطلب الكثير من النصوص، لدرجة أن الناس بدأوا يشعرون بالقلق من أن بيانات الإنترنت التي نستخدمها لتدريب النماذج سوف تنفد قريبًا. وبمجرد استنفاد النص، نحتاج إلى النظر في طرائق أخرى للبيانات.
مخطط فلامنغو المعماري
فيما يتعلق بتعدد الوسائط، يمكنك الرجوع إلى المحتوى التالي:
الدرس 1《تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية》:
الجزء 2 《فلامنغو: نموذج لغة مرئية للتعلم قليل اللقطات》:
الدرس 3《BLIP-2: التدريب المسبق على تمهيد اللغة والصور باستخدام برامج تشفير الصور المجمدة ونماذج اللغات الكبيرة》:
الفصل 4 "اللغة ليست كل ما تحتاجه: مواءمة الإدراك مع نماذج اللغة":
الورقة الخامسة "ضبط التعليمات المرئية":
*جوجل بالم-E:
نفيديا نيفا:
4. اجعل LLM أسرع وأرخص
تم إصدار GPT-3.5 لأول مرة في أواخر نوفمبر 2022، ويشعر الكثير من الأشخاص بالقلق بشأن ارتفاع تكلفة الاستخدام. ومع ذلك، في غضون نصف عام فقط، وجد المجتمع نموذجًا قريبًا من GPT-3.5 من حيث الأداء، وتبلغ مساحة الذاكرة المطلوبة 2% فقط من GPT-3.5.
قال تشيب هوين إنه إذا قمت بإنشاء شيء جيد بما فيه الكفاية، فسيجد الناس قريبًا طريقة لجعله سريعًا ورخيصًا.
فيما يلي مقارنة أداء Guanaco 7B مع نماذج مثل ChatGPT وGPT-4. ولكن علينا أن نؤكد أنه من الصعب جدًا تقييم LLM.
بعد ذلك، قام Chip Huyen بإدراج تقنيات تحسين النموذج والضغط:
القياس الكمي: الطريقة الأكثر عمومية لتحسين النموذج حتى الآن. يستخدم التكميم عددا أقل من البتات لتمثيل المعلمات، وبالتالي تقليل حجم النموذج. على سبيل المثال، يقوم شخص ما بتغيير رقم الفاصلة العائمة 32 بت إلى تمثيل فاصلة عائمة 16 بت، أو حتى 4 بت؛
التقطير المعرفي: أسلوب لتدريب نموذج صغير (الطالب) على تقليد نموذج أكبر أو مجموعة نماذج (المعلم)؛
التحلل منخفض الرتبة: الفكرة الأساسية هي استبدال الموترات عالية الأبعاد بموترات منخفضة الأبعاد لتقليل عدد المعلمات. على سبيل المثال، يمكن للمستخدمين تحليل موتر 3x3 إلى منتج من موتر 3x1 و1x3، بحيث يكون هناك 6 معلمات فقط بدلاً من 9؛
التقليم.
لا تزال الطرق الأربع المذكورة أعلاه شائعة، مثل تدريب Alpaca بالتقطير المعرفي، وQLoRA الذي يجمع بين التحلل المنخفض الرتبة والتكميم.
5. تصميم بنية نموذجية جديدة
منذ إصدار AlexNet في عام 2012، أصبحت العديد من البنيات بما في ذلك LSTM وseq2seq شائعة ثم أصبحت قديمة. على عكس ذلك، فإن Transformer لزج بشكل لا يصدق. لقد كان موجودًا منذ عام 2017 ولا يزال يستخدم على نطاق واسع حتى الآن. من الصعب تقدير المدة التي ستظل فيها هذه الهندسة المعمارية شائعة.
ومع ذلك، ليس من السهل تطوير بنية جديدة تمامًا لتجاوز Transformer. في السنوات الست الماضية، قام الباحثون بالكثير من التحسينات على Transformer. بالإضافة إلى بنية النموذج، يتضمن أيضًا التحسين على مستوى الأجهزة.
أجرى المختبر بقيادة عالم الكمبيوتر الأمريكي كريس ري الكثير من الأبحاث حول S4 في عام 2021. لمزيد من المعلومات، يرجى الرجوع إلى الورقة البحثية "نمذجة التسلسلات الطويلة بكفاءة مع مساحات الحالة المنظمة". بالإضافة إلى ذلك، استثمر مختبر Chris Ré بشكل كبير في تطوير بنيات جديدة، وقد دخل مؤخرًا في شراكة مع شركة Startup Together لتطوير بنية Monarch Mixer.
فكرتهم الرئيسية هي أنه بالنسبة لبنية المحولات الحالية، فإن تعقيد الاهتمام هو التربيعي لطول التسلسل، في حين أن تعقيد MLP هو التربيعي لبعد النموذج، وستكون البنية ذات التعقيد المنخفض أكثر كفاءة.
6. تطوير بدائل GPU
سيطرت وحدات معالجة الرسومات على التعلم العميق منذ إصدار AlexNet في عام 2012. في الواقع، أحد الأسباب المعروفة لشعبية AlexNet هو أنها كانت أول ورقة بحثية تنجح في تدريب شبكة عصبية باستخدام وحدات معالجة الرسومات. قبل ظهور وحدات معالجة الرسوميات، إذا كنت تريد تدريب نموذج بحجم AlexNet، كان عليك استخدام الآلاف من وحدات المعالجة المركزية، ويمكن لعدد قليل من وحدات معالجة الرسومات القيام بذلك.
على مدى العقد الماضي، حاولت الشركات الكبيرة والشركات الناشئة إنشاء أجهزة جديدة للذكاء الاصطناعي. وتشمل أكثرها تمثيلاً، على سبيل المثال لا الحصر، TPU من Google، وGraphcore's IPU، وشركة Cerebras لشرائح الذكاء الاصطناعي. بالإضافة إلى ذلك، قامت شركة SambaNova الناشئة في مجال شرائح الذكاء الاصطناعي بجمع أكثر من مليار دولار لتطوير شرائح جديدة للذكاء الاصطناعي.
الاتجاه الآخر المثير هو الرقائق الضوئية، التي تستخدم الفوتونات لنقل البيانات، مما يتيح إجراء عمليات حسابية أسرع وأكثر كفاءة. جمعت العديد من الشركات الناشئة في هذا المجال مئات الملايين من الدولارات، بما في ذلك Lightmatter (270 مليون دولار)، وAyar Labs (220 مليون دولار)، وLightelligence (+200 مليون دولار)، وLuminous Compute (115 مليون دولار).
فيما يلي جدول زمني للتقدم المحرز في الأساليب الثلاثة الرئيسية في حوسبة المصفوفة الضوئية، مأخوذ من ورقة "تضاعف المصفوفة الضوئية تضيء المسرع الضوئي وما بعده". الطرق الثلاث هي تحويل الضوء المستوي (PLC)، ومقياس تداخل Mach-Zehnder (MZI)، وتعدد الإرسال بتقسيم الطول الموجي (WDM).
7. جعل الوكلاء أكثر قابلية للاستخدام
الوكلاء هم LLMs يمكنهم اتخاذ إجراءات مثل تصفح الإنترنت وإرسال رسائل البريد الإلكتروني وحجز غرفة وما إلى ذلك. وبالمقارنة مع اتجاهات البحث الأخرى في هذا المقال، فإن هذا الاتجاه ظهر متأخرا نسبيا وهو جديد جدا على الجميع.
وبسبب حداثتها وإمكاناتها الكبيرة، فإن كل شخص لديه هوس مجنون بالعملاء الأذكياء. يعد Auto-GPT حاليًا المشروع الخامس والعشرين الأكثر شعبية على GitHub. يعد GPT-Engineering مشروعًا آخر يحظى بشعبية كبيرة.
على الرغم من أن هذا أمر متوقع ومثير، إلا أنه يظل من المشكوك فيه ما إذا كانت LLM ستكون موثوقة وفعالة بدرجة كافية لمنحها الحق في التصرف.
ومع ذلك، فإن حالة التطبيق التي ظهرت بالفعل هي تطبيق وكلاء على البحث الاجتماعي. منذ بعض الوقت، قامت جامعة ستانفورد بفتح مصدر "المدينة الافتراضية" سمولفيل. يعيش 25 من عملاء الذكاء الاصطناعي في المدينة. لديهم وظائف، ويمكنهم القيل والقال، ويمكنهم تنظيم الأنشطة الاجتماعية. وتكوين صداقات جديدة وحتى استضافة حفلة عيد الحب، يتمتع كل ساكن في المدينة بشخصية فريدة وخلفية درامية.
لمزيد من التفاصيل، يرجى الرجوع إلى الأوراق التالية.
عنوان الورقة:
ربما تكون الشركة الناشئة الأكثر شهرة في هذا المجال هي Adept، التي أسسها اثنان من المؤلفين المشاركين في Transformer ونائب الرئيس السابق لـ OpenAI، وقد جمعت ما يقرب من 500 مليون دولار حتى الآن. في العام الماضي، قاموا بعمل عرض توضيحي يوضح كيف يمكن لوكيلهم تصفح الإنترنت وإضافة حساب جديد إلى Salesforce.
, المدة 03:30
8. تحسين التعلم من التفضيلات البشرية
يعنيRLHF التعلم المعزز من التفضيلات البشرية. لن يكون من المستغرب أن يجد الناس طرقًا أخرى لتدريب LLMs، فبعد كل شيء، لا يزال لدى RLHF الكثير من المشكلات التي يتعين حلها. أدرج تشيب هوين النقاط الثلاث التالية.
**كيف تمثل تفضيلات الإنسان رياضيا؟ **
في الوقت الحالي، يتم تحديد التفضيلات البشرية عن طريق المقارنة: يحدد المفسرون البشريون ما إذا كانت الاستجابة "أ" أفضل من الاستجابة "ب"، لكنهم لا يأخذون في الاعتبار مقدار الاستجابة "أ" أفضل من الاستجابة "ب".
** ما هي التفضيلات البشرية؟ **
يقيس الأنثروبيون جودة استجابة نماذجهم على ثلاثة محاور: المنفعة والصدق والبراءة.
عنوان الورقة:
يحاول DeepMind أيضًا توليد استجابات ترضي الأغلبية. انظر هذه الورقة أدناه.
عنوان الورقة:
ولكن لكي نكون واضحين، هل نريد ذكاءً اصطناعيًا يمكنه اتخاذ موقف، أم ذكاءً اصطناعيًا عامًا يتجنب أي موضوعات يحتمل أن تكون مثيرة للجدل؟
** من هي تفضيلات "الناس"؟ **
ونظرًا للاختلافات في الثقافة والدين وما إلى ذلك، هناك العديد من التحديات في الحصول على بيانات التدريب التي تمثل جميع المستخدمين المحتملين بشكل مناسب.
على سبيل المثال، في بيانات InstructGPT الخاصة بـ OpenAI، فإن واضعي العلامات هم بشكل أساسي من الفلبينيين والبنغلاديشيين، مما قد يسبب بعض الانحراف بسبب الاختلافات الجغرافية.
مصدر:
ويعمل مجتمع البحث أيضًا على هذا الأمر، لكن تحيز البيانات لا يزال قائمًا. على سبيل المثال، في التوزيع الديموغرافي لمجموعة بيانات OpenAssistant، كان 201 من أصل 222 مشاركًا (90.5%) من الذكور.
9. تحسين كفاءة واجهة الدردشة
منذ ChatGPT، كانت هناك العديد من المناقشات حول ما إذا كانت الدردشة مناسبة لمختلف المهام. على سبيل المثال هذه المناقشات:
اللغة الطبيعية هي واجهة مستخدم كسولة
لماذا الشات بوتس ليست المستقبل:
ما هي أنواع الأسئلة التي تتطلب الحوار للإجابة عنها؟
قد تصبح واجهة الدردشة AI واجهة المستخدم الرئيسية لقراءة الوثائق:
التفاعل مع LLM مع الحد الأدنى من الدردشة:
ومع ذلك، فإن هذه المناقشات ليست جديدة. استخدمت العديد من البلدان، وخاصة في آسيا، الدردشة كواجهة للتطبيقات الفائقة لمدة عقد تقريبًا.
*الدردشة كواجهة مشتركة للتطبيقات الصينية
في عام 2016، عندما اعتقد العديد من الأشخاص أن التطبيقات قد ماتت وأن برامج الدردشة الآلية هي المستقبل، أصبح النقاش متوترًا مرة أخرى:
*حول واجهة الدردشة:
هل يعتبر اتجاه الشات بوت فكرة خاطئة كبيرة:
لن تحل الروبوتات محل التطبيقات، بل إن التطبيقات الأفضل ستقوم بما يلي:
قال Chip Huyen إنه معجب حقًا بواجهة الدردشة للأسباب التالية:
الدردشة عبارة عن واجهة يمكن لأي شخص أن يتعلم كيفية استخدامها بسرعة، حتى أولئك الذين لم يسبق لهم الوصول إلى جهاز كمبيوتر أو الإنترنت من قبل.
لا يوجد أي عائق في واجهة الدردشة، حتى عندما تكون في عجلة من أمرك، يمكنك استخدام الصوت بدلا من النص.
الدردشة أيضًا واجهة قوية جدًا، يمكنك تقديم أي طلب لها، حتى لو كان الرد غير جيد، سيتم الرد.
ومع ذلك، يعتقد تشيب هوين أن واجهة الدردشة تترك مجالًا للتحسين في بعض المجالات. لديه الاقتراحات التالية
رسائل متعددة في كل جولة
حاليًا، يُعتقد إلى حد كبير أنه يمكن إرسال رسالة واحدة فقط في كل جولة. ولكن هذه ليست الطريقة التي يرسل بها الناس الرسائل النصية في الحياة الواقعية. عادةً ما تكون هناك حاجة إلى أجزاء متعددة من المعلومات لإكمال فكرة الفرد، لأنه يلزم إدراج بيانات مختلفة (مثل الصور والمواقع والروابط) في العملية، وقد يكون المستخدم قد فاته شيء ما في المعلومات السابقة، أو لا يفعل ذلك. تريد تضمين كل شيء اكتبه في فقرة طويلة.
الإدخال المتعدد الوسائط
في مجال التطبيقات متعددة الوسائط، يتم إنفاق معظم الجهود على بناء نماذج أفضل، بينما يتم إنفاق القليل على بناء واجهات أفضل. في حالة برنامج NeVA chatbot من Nvidia، قد يكون هناك مجال لتحسين تجربة المستخدم.
عنوان:
دمج الذكاء الاصطناعي التوليدي في سير العمل
يوضح لينوس لي هذا جيدًا في حديثه "الواجهات المولدة بواسطة الذكاء الاصطناعي خارج نطاق الدردشة". على سبيل المثال، إذا كنت تريد طرح سؤال حول عمود في المخطط الذي تعمل عليه، فيجب أن تتمكن فقط من الإشارة إلى هذا العمود وطرح السؤال.
عنوان الفيديو:
تعديل وحذف المعلومات
من المفيد التفكير في كيف يمكن لتحرير أو حذف مدخلات المستخدم أن يغير تدفق المحادثة مع برنامج الدردشة الآلي.
10. بناء ماجستير في القانون للغات غير الإنجليزية
لا تتناسب شهادات LLM الحالية للغة الإنجليزية كلغة أولى بشكل جيد مع اللغات الأخرى من حيث الأداء وزمن الوصول والسرعة. يمكن للمحتوى ذي الصلة قراءة المقالات التالية:
عنوان الورقة:
عنوان المقالة:
قال تشيب هوين إن العديد من القراء الأوائل لهذا المقال أخبروه أنهم يعتقدون أنه لا ينبغي تضمين هذا الاتجاه لسببين.
هذا ليس سؤالًا بحثيًا بقدر ما هو سؤال لوجستي. نحن نعرف بالفعل كيفية القيام بذلك، فهو يحتاج فقط إلى شخص ما لاستثمار المال والطاقة، وهذا ليس صحيحًا تمامًا. تعتبر معظم اللغات لغات منخفضة الموارد، على سبيل المثال، تحتوي على بيانات عالية الجودة أقل بكثير من اللغة الإنجليزية أو الصينية، وبالتالي قد تتطلب تقنيات مختلفة لتدريب نماذج لغوية كبيرة. راجع المقالات التالية:
عنوان الورقة:
عنوان الورقة:
يعتقد المتشائمون أن العديد من اللغات سوف تموت في المستقبل، وأن الإنترنت المستقبلي سيتكون من لغتين: الإنجليزية والصينية.
إن تأثير أدوات الذكاء الاصطناعي، مثل الترجمة الآلية وروبوتات الدردشة، على تعلم اللغة غير واضح. ومن غير المعروف ما إذا كانت تساعد الأشخاص على تعلم لغات جديدة بشكل أسرع، أو تلغي الحاجة إلى تعلم لغات جديدة تمامًا.
لخص
المشاكل المذكورة في هذه الورقة لها أيضًا مستويات مختلفة من الصعوبة، مثل المشكلة الأخيرة، إذا تمكنت من العثور على ما يكفي من الموارد والوقت، فمن الممكن إنشاء LLM للغات غير الإنجليزية.
إحدى المشاكل الأولى هي تقليل الهلوسة، الأمر الذي سيكون أصعب بكثير، لأن الهلوسة هي مجرد ماجستير في القانون يقوم بأشياء احتمالية.
المشكلة الرابعة هي جعل LLM أسرع وأرخص، وهذا لن يتم حله بالكامل. لقد تم إحراز بعض التقدم في هذا المجال، وسيكون هناك المزيد من التقدم في المستقبل، لكننا لن نتحسن أبدًا إلى الكمال.
أما المسألتان الخامسة والسادسة فهي بنيات جديدة وأجهزة جديدة، وهو أمر صعب للغاية، ولكنه لا مفر منه بمرور الوقت. نظرًا للعلاقة التكافلية بين الهندسة المعمارية والأجهزة، حيث يلزم تحسين البنى الجديدة للأجهزة ذات الأغراض العامة، وتحتاج الأجهزة إلى دعم البنى ذات الأغراض العامة، فمن المحتمل أن يتم حل هذه المشكلة بواسطة نفس الشركة.
هناك أيضًا مشكلات لا يمكن حلها بالمعرفة التقنية وحدها. على سبيل المثال، المشكلة الثامنة المتمثلة في تحسين أساليب التعلم من التفضيلات البشرية قد تكون قضية سياسية أكثر من كونها قضية فنية. عند الحديث عن السؤال التاسع، تحسين كفاءة الواجهة، فهذا أشبه بمشكلة تجربة المستخدم، وهناك حاجة إلى المزيد من الأشخاص ذوي الخلفيات غير التقنية لحل هذه المشكلة معًا.
إذا كنت تريد النظر إلى هذه المشكلات من زوايا أخرى، يوصي تشيب هوين بقراءة المقالة التالية.
عنوان الورقة:
شاهد النسخة الأصلية
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
الهلوسة القاتلة، وتطوير بدائل GPU، والنماذج الكبيرة لا تزال تواجه هذه التحديات العشرة الرئيسية
يتيح لنا إصدار ChatGPT وGPT-4 وما إلى ذلك رؤية سحر النموذج الكبير (LLM)، مصحوبًا بالتحديات المختلفة التي يواجهها.
كيفية جعل LLM أفضل؟ في مواجهة النماذج الكبيرة، ما هي المشاكل التي تحتاج إلى حل؟ لقد أصبح موضوعًا بحثيًا مهمًا في مجال الذكاء الاصطناعي.
في هذه المقالة، يبدأ عالم الكمبيوتر تشيب هوين من 10 جوانب ويشرح بشكل شامل التحديات التي تواجهها LLM. على وجه التحديد، يتعلق الجانبان الأولان بالهلوسة وتعلم السياق، وتشمل العديد من الجوانب الأخرى، على سبيل المثال لا الحصر، تعدد الوسائط، والهندسة المعمارية، وإيجاد بدائل GPU، وما إلى ذلك.
وفيما يلي ترجمة للنص الأصلي.
1. كيفية الحد من الهلوسة
مشكلة الهلوسة هي عندما يكون النص الذي تم إنشاؤه بواسطة LLM سلسًا وطبيعيًا، ولكنه غير مخلص لمصدر المحتوى (مشكلة جوهرية) و/أو غير مؤكد (مشكلة خارجية). هذه المشكلة موجودة على نطاق واسع في LLM.
لذلك من المهم جداً التخفيف من الهلوسة ووضع مؤشرات لقياس الهلوسة، وتهتم العديد من الشركات والمؤسسات بهذا الموضوع. قال تشيب هوين إن هناك العديد من الطرق لتقليل الهلوسة في هذه المرحلة، مثل إضافة المزيد من السياق إلى الموجه، أو استخدام سلاسل التفكير، أو جعل استجابة النموذج أكثر إيجازًا.
تشمل المواد التي يمكن الرجوع إليها ما يلي:
2. تحسين طول السياق وبنيته
التركيز البحثي الآخر لـ LLM هو طول السياق، لأن النموذج الكبير يحتاج إلى الرجوع إلى السياق عند الإجابة على أسئلة المستخدم، وكلما زاد الطول الذي يمكن معالجته، كلما كان أكثر فائدة لـ LLM. على سبيل المثال، سألنا ChatGPT "ما هو أفضل مطعم فيتنامي؟" في مواجهة هذا السؤال، يحتاج ChatGPT إلى الرجوع إلى السياق لمعرفة ما إذا كان المستخدم يسأل عن أفضل مطعم فيتنامي في فيتنام أو أفضل مطعم فيتنامي في الولايات المتحدة. الدول ليست نفس الشيء.
تحت هذا القسم الفرعي، يقدم تشيب هوين العديد من الأوراق البحثية ذات الصلة.
الأول هو "SITUATEDQA: دمج السياقات غير اللغوية في ضمان الجودة"، كلا المؤلفين من جامعة تكساس في أوستن. تقدم هذه الورقة مجموعة بيانات ضمان الجودة مفتوحة الاسترجاع SITUATEDQA، ويمكن للقراء المهتمين الاطلاع عليها لمعرفة المزيد.
ذكر تشيب هوين أنه نظرًا لأن النموذج يتعلم من السياق المقدم، فإن هذه العملية تسمى التعلم السياقي.
تنقسم عملية تشغيل RGA إلى مرحلتين: مرحلة القطع (المعروفة أيضًا باسم الاسترجاع) ومرحلة الاستعلام:
إن مقدار السياق الذي يمكن أن يستخدمه النموذج ومدى كفاءة النموذج في استخدام السياق هما سؤالان مختلفان تمامًا. ما يتعين علينا القيام به هو زيادة كفاءة سياق معالجة النموذج بالتوازي مع زيادة طول سياق النموذج. على سبيل المثال، في ورقة "ضائعة في المنتصف: كيف تستخدم نماذج اللغة سياقات طويلة"، تصف الورقة كيف يمكن للنموذج أن يفهم بشكل أفضل المعلومات الموجودة في بداية الفهرس ونهايته، بدلاً من المعلومات الوسطى.
3. الوسائط المتعددة
يعتقد تشيب هوين أن تعدد الوسائط مهم جدًا.
أولاً، تتطلب المجالات بما في ذلك الرعاية الصحية والروبوتات والتجارة الإلكترونية وتجارة التجزئة والألعاب والترفيه وما إلى ذلك بيانات متعددة الوسائط. على سبيل المثال، يتطلب التنبؤ الطبي محتوى نصيًا مثل ملاحظات الطبيب واستبيانات المريض، بالإضافة إلى معلومات الصور مثل الأشعة المقطعية والأشعة السينية والتصوير بالرنين المغناطيسي.
ثانيًا، يعد تعدد الوسائط بتحسين أداء النموذج بشكل كبير، حيث يكون أداء النماذج التي يمكنها فهم النص والصور أفضل من النماذج التي يمكنها فهم النص فقط. ومع ذلك، فإن النماذج المستندة إلى النصوص تتطلب الكثير من النصوص، لدرجة أن الناس بدأوا يشعرون بالقلق من أن بيانات الإنترنت التي نستخدمها لتدريب النماذج سوف تنفد قريبًا. وبمجرد استنفاد النص، نحتاج إلى النظر في طرائق أخرى للبيانات.
فيما يتعلق بتعدد الوسائط، يمكنك الرجوع إلى المحتوى التالي:
4. اجعل LLM أسرع وأرخص
تم إصدار GPT-3.5 لأول مرة في أواخر نوفمبر 2022، ويشعر الكثير من الأشخاص بالقلق بشأن ارتفاع تكلفة الاستخدام. ومع ذلك، في غضون نصف عام فقط، وجد المجتمع نموذجًا قريبًا من GPT-3.5 من حيث الأداء، وتبلغ مساحة الذاكرة المطلوبة 2% فقط من GPT-3.5.
قال تشيب هوين إنه إذا قمت بإنشاء شيء جيد بما فيه الكفاية، فسيجد الناس قريبًا طريقة لجعله سريعًا ورخيصًا.
لا تزال الطرق الأربع المذكورة أعلاه شائعة، مثل تدريب Alpaca بالتقطير المعرفي، وQLoRA الذي يجمع بين التحلل المنخفض الرتبة والتكميم.
5. تصميم بنية نموذجية جديدة
منذ إصدار AlexNet في عام 2012، أصبحت العديد من البنيات بما في ذلك LSTM وseq2seq شائعة ثم أصبحت قديمة. على عكس ذلك، فإن Transformer لزج بشكل لا يصدق. لقد كان موجودًا منذ عام 2017 ولا يزال يستخدم على نطاق واسع حتى الآن. من الصعب تقدير المدة التي ستظل فيها هذه الهندسة المعمارية شائعة.
ومع ذلك، ليس من السهل تطوير بنية جديدة تمامًا لتجاوز Transformer. في السنوات الست الماضية، قام الباحثون بالكثير من التحسينات على Transformer. بالإضافة إلى بنية النموذج، يتضمن أيضًا التحسين على مستوى الأجهزة.
أجرى المختبر بقيادة عالم الكمبيوتر الأمريكي كريس ري الكثير من الأبحاث حول S4 في عام 2021. لمزيد من المعلومات، يرجى الرجوع إلى الورقة البحثية "نمذجة التسلسلات الطويلة بكفاءة مع مساحات الحالة المنظمة". بالإضافة إلى ذلك، استثمر مختبر Chris Ré بشكل كبير في تطوير بنيات جديدة، وقد دخل مؤخرًا في شراكة مع شركة Startup Together لتطوير بنية Monarch Mixer.
فكرتهم الرئيسية هي أنه بالنسبة لبنية المحولات الحالية، فإن تعقيد الاهتمام هو التربيعي لطول التسلسل، في حين أن تعقيد MLP هو التربيعي لبعد النموذج، وستكون البنية ذات التعقيد المنخفض أكثر كفاءة.
سيطرت وحدات معالجة الرسومات على التعلم العميق منذ إصدار AlexNet في عام 2012. في الواقع، أحد الأسباب المعروفة لشعبية AlexNet هو أنها كانت أول ورقة بحثية تنجح في تدريب شبكة عصبية باستخدام وحدات معالجة الرسومات. قبل ظهور وحدات معالجة الرسوميات، إذا كنت تريد تدريب نموذج بحجم AlexNet، كان عليك استخدام الآلاف من وحدات المعالجة المركزية، ويمكن لعدد قليل من وحدات معالجة الرسومات القيام بذلك.
على مدى العقد الماضي، حاولت الشركات الكبيرة والشركات الناشئة إنشاء أجهزة جديدة للذكاء الاصطناعي. وتشمل أكثرها تمثيلاً، على سبيل المثال لا الحصر، TPU من Google، وGraphcore's IPU، وشركة Cerebras لشرائح الذكاء الاصطناعي. بالإضافة إلى ذلك، قامت شركة SambaNova الناشئة في مجال شرائح الذكاء الاصطناعي بجمع أكثر من مليار دولار لتطوير شرائح جديدة للذكاء الاصطناعي.
الاتجاه الآخر المثير هو الرقائق الضوئية، التي تستخدم الفوتونات لنقل البيانات، مما يتيح إجراء عمليات حسابية أسرع وأكثر كفاءة. جمعت العديد من الشركات الناشئة في هذا المجال مئات الملايين من الدولارات، بما في ذلك Lightmatter (270 مليون دولار)، وAyar Labs (220 مليون دولار)، وLightelligence (+200 مليون دولار)، وLuminous Compute (115 مليون دولار).
فيما يلي جدول زمني للتقدم المحرز في الأساليب الثلاثة الرئيسية في حوسبة المصفوفة الضوئية، مأخوذ من ورقة "تضاعف المصفوفة الضوئية تضيء المسرع الضوئي وما بعده". الطرق الثلاث هي تحويل الضوء المستوي (PLC)، ومقياس تداخل Mach-Zehnder (MZI)، وتعدد الإرسال بتقسيم الطول الموجي (WDM).
الوكلاء هم LLMs يمكنهم اتخاذ إجراءات مثل تصفح الإنترنت وإرسال رسائل البريد الإلكتروني وحجز غرفة وما إلى ذلك. وبالمقارنة مع اتجاهات البحث الأخرى في هذا المقال، فإن هذا الاتجاه ظهر متأخرا نسبيا وهو جديد جدا على الجميع.
وبسبب حداثتها وإمكاناتها الكبيرة، فإن كل شخص لديه هوس مجنون بالعملاء الأذكياء. يعد Auto-GPT حاليًا المشروع الخامس والعشرين الأكثر شعبية على GitHub. يعد GPT-Engineering مشروعًا آخر يحظى بشعبية كبيرة.
على الرغم من أن هذا أمر متوقع ومثير، إلا أنه يظل من المشكوك فيه ما إذا كانت LLM ستكون موثوقة وفعالة بدرجة كافية لمنحها الحق في التصرف.
ومع ذلك، فإن حالة التطبيق التي ظهرت بالفعل هي تطبيق وكلاء على البحث الاجتماعي. منذ بعض الوقت، قامت جامعة ستانفورد بفتح مصدر "المدينة الافتراضية" سمولفيل. يعيش 25 من عملاء الذكاء الاصطناعي في المدينة. لديهم وظائف، ويمكنهم القيل والقال، ويمكنهم تنظيم الأنشطة الاجتماعية. وتكوين صداقات جديدة وحتى استضافة حفلة عيد الحب، يتمتع كل ساكن في المدينة بشخصية فريدة وخلفية درامية.
لمزيد من التفاصيل، يرجى الرجوع إلى الأوراق التالية.
ربما تكون الشركة الناشئة الأكثر شهرة في هذا المجال هي Adept، التي أسسها اثنان من المؤلفين المشاركين في Transformer ونائب الرئيس السابق لـ OpenAI، وقد جمعت ما يقرب من 500 مليون دولار حتى الآن. في العام الماضي، قاموا بعمل عرض توضيحي يوضح كيف يمكن لوكيلهم تصفح الإنترنت وإضافة حساب جديد إلى Salesforce.
, المدة 03:30
8. تحسين التعلم من التفضيلات البشرية
يعنيRLHF التعلم المعزز من التفضيلات البشرية. لن يكون من المستغرب أن يجد الناس طرقًا أخرى لتدريب LLMs، فبعد كل شيء، لا يزال لدى RLHF الكثير من المشكلات التي يتعين حلها. أدرج تشيب هوين النقاط الثلاث التالية.
**كيف تمثل تفضيلات الإنسان رياضيا؟ **
في الوقت الحالي، يتم تحديد التفضيلات البشرية عن طريق المقارنة: يحدد المفسرون البشريون ما إذا كانت الاستجابة "أ" أفضل من الاستجابة "ب"، لكنهم لا يأخذون في الاعتبار مقدار الاستجابة "أ" أفضل من الاستجابة "ب".
** ما هي التفضيلات البشرية؟ **
يقيس الأنثروبيون جودة استجابة نماذجهم على ثلاثة محاور: المنفعة والصدق والبراءة.
يحاول DeepMind أيضًا توليد استجابات ترضي الأغلبية. انظر هذه الورقة أدناه.
ولكن لكي نكون واضحين، هل نريد ذكاءً اصطناعيًا يمكنه اتخاذ موقف، أم ذكاءً اصطناعيًا عامًا يتجنب أي موضوعات يحتمل أن تكون مثيرة للجدل؟
** من هي تفضيلات "الناس"؟ **
ونظرًا للاختلافات في الثقافة والدين وما إلى ذلك، هناك العديد من التحديات في الحصول على بيانات التدريب التي تمثل جميع المستخدمين المحتملين بشكل مناسب.
على سبيل المثال، في بيانات InstructGPT الخاصة بـ OpenAI، فإن واضعي العلامات هم بشكل أساسي من الفلبينيين والبنغلاديشيين، مما قد يسبب بعض الانحراف بسبب الاختلافات الجغرافية.
ويعمل مجتمع البحث أيضًا على هذا الأمر، لكن تحيز البيانات لا يزال قائمًا. على سبيل المثال، في التوزيع الديموغرافي لمجموعة بيانات OpenAssistant، كان 201 من أصل 222 مشاركًا (90.5%) من الذكور.
منذ ChatGPT، كانت هناك العديد من المناقشات حول ما إذا كانت الدردشة مناسبة لمختلف المهام. على سبيل المثال هذه المناقشات:
ومع ذلك، فإن هذه المناقشات ليست جديدة. استخدمت العديد من البلدان، وخاصة في آسيا، الدردشة كواجهة للتطبيقات الفائقة لمدة عقد تقريبًا.
في عام 2016، عندما اعتقد العديد من الأشخاص أن التطبيقات قد ماتت وأن برامج الدردشة الآلية هي المستقبل، أصبح النقاش متوترًا مرة أخرى:
*حول واجهة الدردشة:
قال Chip Huyen إنه معجب حقًا بواجهة الدردشة للأسباب التالية:
ومع ذلك، يعتقد تشيب هوين أن واجهة الدردشة تترك مجالًا للتحسين في بعض المجالات. لديه الاقتراحات التالية
حاليًا، يُعتقد إلى حد كبير أنه يمكن إرسال رسالة واحدة فقط في كل جولة. ولكن هذه ليست الطريقة التي يرسل بها الناس الرسائل النصية في الحياة الواقعية. عادةً ما تكون هناك حاجة إلى أجزاء متعددة من المعلومات لإكمال فكرة الفرد، لأنه يلزم إدراج بيانات مختلفة (مثل الصور والمواقع والروابط) في العملية، وقد يكون المستخدم قد فاته شيء ما في المعلومات السابقة، أو لا يفعل ذلك. تريد تضمين كل شيء اكتبه في فقرة طويلة.
في مجال التطبيقات متعددة الوسائط، يتم إنفاق معظم الجهود على بناء نماذج أفضل، بينما يتم إنفاق القليل على بناء واجهات أفضل. في حالة برنامج NeVA chatbot من Nvidia، قد يكون هناك مجال لتحسين تجربة المستخدم.
يوضح لينوس لي هذا جيدًا في حديثه "الواجهات المولدة بواسطة الذكاء الاصطناعي خارج نطاق الدردشة". على سبيل المثال، إذا كنت تريد طرح سؤال حول عمود في المخطط الذي تعمل عليه، فيجب أن تتمكن فقط من الإشارة إلى هذا العمود وطرح السؤال.
عنوان الفيديو:
من المفيد التفكير في كيف يمكن لتحرير أو حذف مدخلات المستخدم أن يغير تدفق المحادثة مع برنامج الدردشة الآلي.
10. بناء ماجستير في القانون للغات غير الإنجليزية
لا تتناسب شهادات LLM الحالية للغة الإنجليزية كلغة أولى بشكل جيد مع اللغات الأخرى من حيث الأداء وزمن الوصول والسرعة. يمكن للمحتوى ذي الصلة قراءة المقالات التالية:
قال تشيب هوين إن العديد من القراء الأوائل لهذا المقال أخبروه أنهم يعتقدون أنه لا ينبغي تضمين هذا الاتجاه لسببين.
إن تأثير أدوات الذكاء الاصطناعي، مثل الترجمة الآلية وروبوتات الدردشة، على تعلم اللغة غير واضح. ومن غير المعروف ما إذا كانت تساعد الأشخاص على تعلم لغات جديدة بشكل أسرع، أو تلغي الحاجة إلى تعلم لغات جديدة تمامًا.
لخص
المشاكل المذكورة في هذه الورقة لها أيضًا مستويات مختلفة من الصعوبة، مثل المشكلة الأخيرة، إذا تمكنت من العثور على ما يكفي من الموارد والوقت، فمن الممكن إنشاء LLM للغات غير الإنجليزية.
إحدى المشاكل الأولى هي تقليل الهلوسة، الأمر الذي سيكون أصعب بكثير، لأن الهلوسة هي مجرد ماجستير في القانون يقوم بأشياء احتمالية.
المشكلة الرابعة هي جعل LLM أسرع وأرخص، وهذا لن يتم حله بالكامل. لقد تم إحراز بعض التقدم في هذا المجال، وسيكون هناك المزيد من التقدم في المستقبل، لكننا لن نتحسن أبدًا إلى الكمال.
أما المسألتان الخامسة والسادسة فهي بنيات جديدة وأجهزة جديدة، وهو أمر صعب للغاية، ولكنه لا مفر منه بمرور الوقت. نظرًا للعلاقة التكافلية بين الهندسة المعمارية والأجهزة، حيث يلزم تحسين البنى الجديدة للأجهزة ذات الأغراض العامة، وتحتاج الأجهزة إلى دعم البنى ذات الأغراض العامة، فمن المحتمل أن يتم حل هذه المشكلة بواسطة نفس الشركة.
هناك أيضًا مشكلات لا يمكن حلها بالمعرفة التقنية وحدها. على سبيل المثال، المشكلة الثامنة المتمثلة في تحسين أساليب التعلم من التفضيلات البشرية قد تكون قضية سياسية أكثر من كونها قضية فنية. عند الحديث عن السؤال التاسع، تحسين كفاءة الواجهة، فهذا أشبه بمشكلة تجربة المستخدم، وهناك حاجة إلى المزيد من الأشخاص ذوي الخلفيات غير التقنية لحل هذه المشكلة معًا.
إذا كنت تريد النظر إلى هذه المشكلات من زوايا أخرى، يوصي تشيب هوين بقراءة المقالة التالية.