Bulan September lalu, OpenAI menerbitkan sebuah makalah.

Penulis makalah tersebut adalah Adam Tauman Kalai, Edwin Zhang, dan Ofir Nachum dari OpenAI, ditambah Santosh Vempala dari Georgia Tech.
Mereka membangun sebuah kerangka kerja matematika, dan penemuan inti adalah pertidaksamaan ini:
Tingkat kesalahan generasi ≥ 2 × Tingkat kesalahan penilaian
Asumsikan AI memiliki probabilitas 1% untuk salah dalam menilai "1+1 sama dengan berapa". Maka saat menghasilkan jawaban, probabilitas kesalahannya setidaknya 2%.
Mengapa terjadi pembesaran? Karena satu kesalahan penilaian dapat menghasilkan multiple kesalahan generasi. Misalnya, AI menilai 1+1=3, maka AI secara bersamaan melakukan dua kesalahan: mengatakan 1+1=3 adalah benar, mengatakan 1+1=2 adalah salah. Satu kesalahan penilaian, setidaknya dua kesalahan generasi.
Jika Anda menjawab "Saya tidak tahu", nilai 0. Jika Anda menebak sembarangan, bahkan dengan hanya 10% probabilitas benar, nilai yang diharapkan adalah 0,1. Pilihan rasional? Menebak. Jadi AI bukan "telah belajar berbohong". AI dipaksa oleh sistem pelatihan untuk menebak.
Saya telah mengerjakan otomasi AI selama setengah tahun lebih. Seluruh sistem konten saya——mulai dari scraping data hingga penulisan hingga pemilihan gambar——semuanya dijalankan oleh AI.
Apakah makalah ini mengubah pemahaman inti saya? Jujur saja, pemahaman inti saya tidak berubah.
Saya selalu tahu AI akan membuat kesalahan, dan sistem desain saya memiliki verifikasi manual di setiap tahap. Tetapi ada satu hal yang menjadi lebih jelas: halusinasi bukan bug, melainkan feature.
Jadi pendekatan yang benar bukanlah menunggu AI menjadi sempurna, tetapi merancang mekanisme penanggulanagan dengan mengasumsikan AI pasti akan membuat kesalahan dalam alur kerja.
Pendekatan saya:
1. Semua data yang dihasilkan AI harus memiliki tautan sumber asli untuk verifikasi silang
2. Angka spesifik dalam konten tulisan harus dikonfirmasi secara manual sebelum publikasi
3. Jangan biarkan AI melakukan "penilaian", hanya biarkan AI melakukan "pengorganisasian"——penilaian adalah tugas saya