تعديل مستند واحد فقط يمكن أن يحقن سموم في مساعد برمجة الذكاء الاصطناعي: وونداي Context Hub يتعرض لانتقادات بسبب عدم وجود مراجعة على طول الخط

BlockBeatNews

وفقًا لمراقبة 1M AI News، تم الكشف عن مخاطر هجوم على سلسلة التوريد لخدمة توثيق البرمجة AI التي أطلقها مؤسس DeepLearning.AI، وأستاذ جامعة ستانفورد المتعاون، ووندا أوندا، قبل أسبوعين، من قبل باحثين أمنيين. تعتمد خدمة Context Hub على خادم MCP لتوفير وثائق API لوكيل البرمجة، حيث يرسل المساهمون طلبات سحب على GitHub لتقديم الوثائق، ويقوم المشرفون بدمجها، ثم يقرأ الوكيل المحتوى حسب الحاجة. قام منشئ خدمة بديلة lap.sh، Mickey Shmueli، بنشر إثبات مفهوم للهجوم (PoC)، مشيرًا إلى أن خط الإنتاج هذا “لا يخضع لمراجعة المحتوى في أي مرحلة”.

صنع Shmueli نسختين من وثائق مزيفة تستهدف Plaid Link وStripe Checkout، حيث تم إدراج حزم PyPI مزورة في كل منهما، واختبر ثلاث نماذج من نماذج Anthropic بمستوياتها الثلاثة 40 مرة لكل منها:

  1. Haiku يكتب دائمًا الحزمة الخبيثة في requirements.txt، ولا تظهر أي تحذيرات في المخرجات
  2. Sonnet يصدر تحذيرًا في 48% (19/40) من الاختبارات، لكنه لا يزال يكتب الاعتماديات الخبيثة في 53% (21/40) من الحالات
  3. Opus يظهر أداءً أفضل، حيث يصدر تحذيرًا في 75% (30/40) من الاختبارات، ولم يكتب الاعتماديات الخبيثة في الكود

يمكن للمهاجم ببساطة تقديم طلب سحب واحد ودمجه لإكمال التسميم، مع حد أدنى من مراجعة المحتوى: من بين 97 طلب سحب مغلق، تم دمج 58 منها. أشار Shmueli إلى أن الأمر في جوهره نوع من أنواع حقن التعليمات غير المباشرة، حيث لا يمكن لنماذج الذكاء الاصطناعي التمييز بشكل موثوق بين البيانات والأوامر عند معالجة المحتوى، كما أن خدمات الوثائق المجتمعية الأخرى تعاني أيضًا من نقص في مراجعة المحتوى. لم يرد ووندا أوندا على طلب التعليق.

شاهد النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات