تقترح Google جبابرة: لاختراق قيود قوة الحوسبة وتوسيع السياق

في 25 فبراير، أصدر معهد البحوث في غوغل دراسة جديدة بعنوان Titans. من خلال إدخال وحدة ذاكرة عصبية طويلة الأجل جديدة بالكامل، وتصميم ثلاثة رؤوس متعاونة وتحسينات في الأجهزة، تمكن Titans من توسيع نافذة السياق للنماذج الكبيرة إلى 2 مليون رمز فقط بزيادة قوة الحوسبة بنسبة 1.8 مرة. Titans لم يحل فقط مشكلة زجاجة رقبة نموذج Transformer في معالجة السياق الطويل، بل حقق لأول مرة استدلال دقيق لنموذج ذو 2 مليون رمز للسياق الطويل من خلال تصميم يحاكي الذاكرة البشرية بآلية تدرجية.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 2
  • إعادة النشر
  • مشاركة
تعليق
0/400
MigrantWorkersOnTheCvip
· 02-25 00:53
شاهد النسخة الأصليةرد1
GateUser-d53c8bc2vip
· 02-25 00:31
حلو جداً
رد0
  • Gate Fun الساخنعرض المزيد
  • القيمة السوقية:$772.9Kعدد الحائزين:5154
  • القيمة السوقية:$609.3Kعدد الحائزين:137
  • القيمة السوقية:$453Kعدد الحائزين:10606
  • القيمة السوقية:$472.6Kعدد الحائزين:22768
  • القيمة السوقية:$73.1Kعدد الحائزين:20401
  • تثبيت