في سبتمبر العام الماضي، نشرت OpenAI ورقة بحثية

مؤلفو الورقة هم Adam Tauman Kalai و Edwin Zhang و Ofir Nachum من OpenAI، بالإضافة إلى Santosh Vempala من Georgia Tech
لقد بنوا إطارًا رياضيًا، والاكتشاف الأساسي هو هذا عدم المساواة:
معدل الخطأ في التوليد ≥ 2 × معدل الخطأ في الحكم
لنفترض أن الذكاء الاصطناعي يحتمل أن يحكم بشكل خاطئ بنسبة 1% على مسألة "1+1 يساوي كم". فإن احتمال خطئه عند توليد الإجابة يكون على الأقل 2%
لماذا يتم تضخيم الخطأ؟ لأن حكمًا واحد خاطئًا قد يؤدي إلى عدة أخطاء في التوليد. على سبيل المثال، إذا حكم الذكاء الاصطناعي بأن 1+1=3، فقد ارتكب خطأين: قال إن 1+1=3 صحيح، وقال إن 1+1=2 خطأ. خطأ حكم واحد يعني على الأقل خطأي توليد
إذا أجبت "لا أعرف"، تحصل على 0 نقطة. إذا خمنت عشوائيًا، حتى لو كانت احتمالية التخمين الصحيح 10% فقط، الدرجة المتوقعة هي 0.1 نقطة. الاختيار العقلاني؟ التخمين. إذن الذكاء الاصطناعي لم "يتعلم الكذب". الذكاء الاصطناعي يتم إجباره على التخمين من قبل نظام التدريب
عملت في أتمتة الذكاء الاصطناعي لما يقرب من ستة أشهر. نظامي الكامل للمحتوى — من استخراج البيانات إلى الكتابة إلى اختيار الصور — يعمل بالكامل بواسطة الذكاء الاصطناعي
هل غيرت هذه الورقة البحثية إدراكي؟ بصراحة، الإدراك الأساسي لم يتغير
كنت أعرف دائمًا أن الذكاء الاصطناعي سيرتكب أخطاءً، وكل مرحلة من مراحل نظامي لها تحقق يدوي. لكن شيء واحد أصبح أوضح: الهلوسة ليست خللاً، بل هي ميزة
إذن الطريقة الصحيحة ليست انتظار أن يصبح الذكاء الاصطناعي مثاليًا، بل افتراض أن الذكاء الاصطناعي سيرتكب أخطاءً بالتأكيد في سير العمل، ثم تصميم آليات الحماية.
طريقتي:
1. جميع البيانات التي ينتجها الذكاء الاصطناعي يجب أن تكون لها روابط أصلية للتحقق المرجعي
2. الأرقام المحددة في محتوى الكتابة يجب أن يتم تأكيدها يدويًا قبل النشر
3. عدم السماح للذكاء الاصطناعي بـ "الحكم"، بل السماح له بـ "التنظيم" فقط — الحكم هو من مسؤوليتي