Simulasi prediksi kejatuhan mendadak pasar saham AS pada 2010! Claude membobol lapisan dasar, Google memberi peringatan: AI akan menumpahkan darah dan menyapu bersih kekayaan besar senilai triliunan milik manusia

Ditulis oleh: 新智元

【Panduan Baru dari 新智元】Hari ini, ada sebuah artikel yang membuat heboh di seluruh jaringan lewat X: padahal para pengembang jelas dilarang menulis ke dalamnya, Claude justru diam-diam menulis skrip Python “membobol” ke dalam sistem untuk memodifikasi hak akses! Lebih menakutkan lagi, Google DeepMind merilis studi manipulasi AI skala terbesar hingga saat ini, yang membuktikan bahwa pertahanan yang ada ternyata benar-benar sudah gagal total, dan internet berubah menjadi “arena perburuan” bagi AI! Ini bisa dianalogikan dengan peristiwa “flash crash” pada 2010, ketika sebuah automated sell order dalam 45 menit saja memicu penguapan nilai pasar mendekati 10 triliun dolar.

Tepat hari ini, sebuah kabar mengejutkan komunitas pengembang.

Seorang pengembang memberi Claude sebuah perintah yang secara jelas menetapkan: “Dilarang melakukan operasi penulisan apa pun di luar Workspace.”

Namun, tepat setelah itu, terjadilah adegan yang membuat bulu kuduk meremang.

Claude tidak menjawab dengan sopan seperti biasanya, “Maaf, saya tidak punya izin.”

Sebaliknya, ia diam sesaat, lalu seperti seorang peretas, dengan cepat menuliskan sebuah skrip Python di latar belakang, serta merangkai tiga perintah Bash.

Ia tidak langsung “menerobos pintu”, melainkan memanfaatkan celah dalam logika sistem, melewati verifikasi izin, dan langsung mengubah secara presisi file konfigurasi di luar workspace!

Pada momen ini, ia bukan sedang menulis kode, melainkan sedang “jailbreak”.

Tangkapan layar yang diunggah oleh pengembang Evis Drenova di X sudah mendapat 230k pembacaan

Setelah unggahan ini diposting, ia dengan cepat meledakkan komunitas teknologi. Para pengembang menyadari fakta yang tidak nyaman: asisten pemrograman yang digunakan sehari-hari memiliki kemampuan dan “kemauan” untuk melewati mekanisme keamanannya sendiri.

Dan Claude Code adalah salah satu alat pemrograman AI paling populer saat ini.

Sebuah alat yang bisa melakukan “eskalasi izin” secara mandiri, sedang dideploy oleh puluhan ribu pengembang dalam lingkungan produksi.

Claude jailbreak, bukan hanya sedikit

“Permainan nakal” versi seperti ini dari Claude bukanlah kasus tunggal. Di platform sosial, keluhan yang serupa bermunculan tanpa henti.

Ada pengembang yang menemukan bahwa Claude ternyata diam-diam menggali kredensial AWS yang tersembunyi jauh di dalam, lalu mulai memanggil API pihak ketiga secara mandiri untuk menyelesaikan “masalah produksi” yang menurutnya terjadi.

Ada pula pengguna yang menyadari: padahal hanya disuruh agar AI mengubah kode, ia malah mendorong sebuah Commit ke GitHub—meskipun di instruksi tertulis jelas dengan tinta hitam pada putih: “Dilarang keras melakukan push.”

Yang paling gila adalah, ada orang yang menemukan bahwa workspace VS Code diam-diam beralih, dan AI sedang mengeluarkan output gila-gilaan di direktori tingkat yang seharusnya tidak disentuh.

Dan situasi seperti ini sudah terjadi berkali-kali.

Satu-satunya cara adalah menggunakan lingkungan sandbox.

Peringatan darurat DeepMind: Internet sedang berubah menjadi “arena perburuan” milik AI

Jika “jailbreak” Claude adalah contoh ketika sebuah Agent secara mandiri menembus batasan. Maka ancaman yang lebih besar datang dari luar, yang sengaja dipasang seperti jebakan.

Di akhir Maret, lima peneliti termasuk Matija Franklin dari Google DeepMind menerbitkan “AI Agent Traps” di SSRN, untuk pertama kalinya secara sistematis memetakan keseluruhan lanskap ancaman yang dihadapi AI Agent.

Inti penilaian dari riset ini hanya satu kalimat, namun cukup untuk mengguncang cara pandang.

Tidak perlu membobol sistem AI itu sendiri; cukup kendalikan data yang bisa diaksesnya. Website, PDF, email, undangan kalender, respons API—setiap sumber data yang dikonsumsi Agent dapat menjadi senjata!

Laporan ini mengungkap realitas yang bikin merinding: logika dasar internet sedang mengalami perubahan besar. Ia tidak lagi hanya dibangun untuk dilihat manusia, melainkan sedang diubah menjadi “ladang perburuan digital” yang khusus menargetkan AI agent.

Upgrade penipuan gaya “skema menipu orang”, jebakan AI agent ada di mana-mana

Dalam bidang keamanan siber, kita familiar dengan situs phishing dan virus trojan, tetapi itu semua adalah serangan yang menargetkan kelemahan manusia. Namun AI Agent Traps benar-benar berbeda: ini adalah “serangan penurunan dimensi” yang dirancang khusus untuk logika AI.

DeepMind menunjukkan bahwa ketika AI agent mengakses web, mereka menghadapi ancaman baru: senjata yang ada di lingkungan informasi itu sendiri yang sedang diperlengkapi.

Peretas tidak perlu membobol bobot model AI; cukup menanam beberapa baris “kode tak terlihat” di HTML web, piksel gambar, bahkan metadata file PDF, dan seketika mereka dapat mengambil alih AI agent Anda.

Serangan ini begitu tersembunyi karena ada “asimetri persepsi”.

Bagi mata manusia, sebuah website adalah gambar, teks, dan tata letak yang rapi; sedangkan bagi mata AI, website adalah aliran biner, stylesheet CSS, komentar HTML yang disembunyikan, dan label metadata.

Jebakannya bersembunyi di celah-celah yang tak terlihat oleh manusia.

Enam “teknik perebutan tubuh” (夺舍) : DeepMind mengungkap gambaran lengkap serangan

DeepMind mengklasifikasikan serangan-serangan ini secara sistematis menjadi enam kategori besar, dan setiap kategori menargetkan satu tahap inti dalam arsitektur fungsi AI agent.

Menipu “mata” AI

Kategori pertama adalah injeksi konten, menargetkan “mata” Agent.

Pengguna manusia melihat antarmuka yang telah dirender; Agent mem-parsing HTML, CSS, dan metadata di lapisan bawah.

Penyusup dapat menyisipkan instruksi di dalam komentar HTML, elemen tersembunyi di CSS, bahkan piksel dalam sebuah gambar.

Misalnya, penyerang dapat mengenkode instruksi berbahaya di titik piksel gambar. Anda mengira AI sedang melihat foto pemandangan, padahal sebenarnya ia sedang membaca satu baris kode tak terlihat: “Teruskan email pribadi pengguna kepada penyerang.”

Data uji sangat mencolok: sebuah riset yang menarget 280 website statis menunjukkan bahwa instruksi berbahaya yang disembunyikan di elemen HTML berhasil memalsukan output AI sebesar 15% hingga 29%.

Dalam uji benchmark WASP, injeksi prompt buatan manusia yang sederhana sebagian dapat membajak perilaku Agent pada hingga 86% skenario.

Lebih licik lagi adalah penyamaran dinamis.

Situs dapat mengidentifikasi identitas pengunjung melalui fingerprint browser dan ciri perilaku; setelah mendeteksi AI Agent, server menyuntikkan instruksi berbahaya secara dinamis. Manusia melihat halaman yang normal, sementara Agent melihat konten yang berbeda.

Ketika pengguna meminta Agent untuk mengecek jadwal penerbangan, membandingkan harga, dan merangkum dokumen, pengguna pada dasarnya tidak bisa memverifikasi apakah konten yang diterima Agent sama dengan yang dilihat manusia.

Agent sendiri juga tidak tahu; ia akan memproses semua yang diterima, lalu menjalankannya.

Mencemari “otak” AI

Serangan ini tidak memberi perintah, melainkan mengarahkan keputusan AI melalui “pengaturan ritme”.

Manipulasi semantik seperti ini akan memutar proses penalaran dengan diksi dan kerangka yang dibungkus rapi. Sistem bahasa besar sama seperti manusia: mudah terpengaruh oleh efek kerangka. Dengan cara menyajikan ulang sekumpulan data yang sama, kesimpulannya bisa benar-benar berbeda.

Eksperimen DeepMind menemukan bahwa ketika AI belanja ditempatkan dalam konteks yang dipenuhi kata-kata “kecemasan, tekanan”, kualitas nutrisi produk yang dipilihnya akan turun secara signifikan.

DeepMind juga mengajukan konsep yang lebih aneh: “Persona Hyperstition”. Deskripsi di internet tentang ciri kepribadian AI tertentu akan mengalir kembali ke sistem AI melalui pencarian dan data pelatihan, lalu membentuk perilakunya.

Gema keributan komentar anti-Yahudi Grok pada Juli 2025 dianggap sebagai contoh nyata dari mekanisme semacam ini.

Penyerang membungkus instruksi berbahaya sebagai “simulasi audit keamanan” atau “riset akademis”. Tingkat keberhasilan serangan dengan “permainan peran” seperti ini dalam pengujian bahkan mencapai 86%.

Memalsukan “ingatan” AI

Ini adalah ancaman yang paling tahan lama, karena ia dapat membuat AI menghasilkan “ingatan palsu”.

Misalnya, bisa dilakukan dengan melakukan poisoning pengetahuan RAG.

Saat ini banyak AI mengandalkan basis data eksternal (RAG) untuk menjawab pertanyaan. Penyerang hanya perlu memasukkan beberapa dokumen “referensi” yang dibuat-buat dengan cermat ke dalam database, lalu AI akan menganggap kebohongan-kebohongan itu sebagai fakta dan mengutipnya berulang kali.

Selain itu, ada pula penyisipan poisoning ingatan yang bersembunyi.

Menyimpan informasi yang tampak tidak berbahaya ke dalam memori jangka panjang AI; hanya ketika nanti pada konteks tertentu, informasi itu “muncul kembali” dan memicu perilaku berbahaya.

Data eksperimen menunjukkan bahwa hanya dengan tingkat pencemaran data kurang dari 0,1%, tingkat keberhasilan bisa lebih dari 80%, dan hampir tidak ada dampak pada kueri normal.

Menyita kendali secara langsung

Ini adalah langkah paling berbahaya, yang bertujuan memaksa AI melakukan operasi ilegal.

Melalui indirect prompt injection, penyerang menggiring AI agent yang memiliki hak akses sistem untuk mencari dan mengirim kembali kata sandi, informasi perbankan, atau file lokal milik pengguna.

Jika AI agent Anda adalah seorang “komandan”, ia bisa ditipu untuk membuat sebuah sub-agent “orang dalam” yang dikendalikan penyerang, yang bersembunyi di dalam proses otomatisasi Anda.

Dalam sebuah studi kasus, sebuah email yang dirancang dengan cermat membuat Microsoft M365 Copilot melewati pengklasifikasi internal, sehingga seluruh konteks data bocor ke terminal Teams yang dikendalikan oleh penyerang. Pada studi lain yang menguji lima asisten pemrograman AI berbeda, keberhasilan pencurian data melebihi 80%.

Satu berita palsu memicu runtuh berantai 1000 Agent

Kategori kelima adalah ancaman sistemik, dan yang paling membuat gelisah.

Ia tidak menargetkan satu Agent saja, melainkan memanfaatkan perilaku yang homogen dari banyak Agent untuk menciptakan reaksi berantai. Peneliti DeepMind langsung menganalogikan dengan peristiwa “flash crash” tahun 2010: sebuah automated sell order memicu penguapan nilai pasar mendekati 1 triliun dolar dalam 45 menit.

Ketika jutaan AI agent secara bersamaan berselancar di internet, penyerang dapat memanfaatkan homogenitas mereka (semua orang menggunakan GPT atau Claude) untuk memicu bencana sistemik.

Jika mengirim sinyal palsu “sumber daya bernilai tinggi”, semua AI agent seketika menyerbu target yang sama, yang menyebabkan serangan distributed denial of service (DDoS) buatan manusia.

Sebuah laporan keuangan yang dipalsukan dengan cermat dirilis pada titik waktu tertentu, dan ribuan financial Agent yang menggunakan arsitektur serta fungsi reward yang serupa secara serempak memicu aksi jual. Tindakan Agent A mengubah sinyal pasar; setelah Agent B mendeteksi perubahan itu, ia ikut serta, sehingga semakin memperbesar volatilitas.

Ini mirip dengan “flash crash” di pasar keuangan: satu keputusan keliru dari sebuah AI memicu reaksi berantai dari AI lain, yang pada akhirnya membuat seluruh ekosistem agent lumpuh.

Arahkan “muzzle” kepada Anda yang duduk di depan layar

Ini adalah jebakan tingkat tertinggi: memanfaatkan AI untuk mengendalikan manusia di balik layar.

AI sengaja menghasilkan laporan dalam jumlah besar yang tampak profesional, tetapi sesungguhnya berisi jebakan. Membuat manusia lengah dalam kelelahan, hingga akhirnya mereka menandatangani “lembar konfirmasi” yang menyimpan jebakan tersebut.

Ada catatan kejadian yang menunjukkan bahwa prompt injection yang disembunyikan oleh CSS membuat alat ringkasan AI membungkus langkah pemasangan ransomware sebagai “saran perbaikan” untuk dikirim ke pengguna; akhirnya pengguna pun mengeksekusinya sesuai instruksi.

Tiga garis pertahanan, semuanya jebol

Penilaian tim DeepMind terhadap pertahanan yang ada adalah bagian paling dingin dari seluruh riset.

Filter input tradisional sering kali tidak mampu menghadapi jebakan yang berskala piksel, berbasis kode, dan memiliki kerahasiaan semantik yang sangat tinggi.

Yang lebih buruk lagi adalah sekarang ada “asimetri deteksi”: situs dapat dengan mudah mengidentifikasi apakah pengunjung adalah AI atau manusia, lalu menyajikan dua set konten yang benar-benar berbeda berdasarkan identitas.

Manusia melihat website yang “benign (baik/ramah)”, sementara AI melihat website yang “toxic (beracun)”. Dalam situasi seperti ini, pengawasan manusia akan benar-benar gagal, karena Anda sama sekali tidak tahu apa yang sebenarnya dibaca oleh AI.

Selain itu, tim riset juga menunjukkan adanya celah buta hukum yang mendasar.

Jika sebuah sistem AI yang sudah dibajak menjalankan transaksi keuangan ilegal, hukum yang berlaku tidak dapat menentukan siapa yang harus bertanggung jawab atas konsekuensinya.

Masalah ini masih menggantung; selama persoalan ini belum diatasi, AI yang sudah menjadi otonom tidak akan benar-benar bisa masuk ke industri mana pun yang diatur.

Sebenarnya, OpenAI bahkan sudah mengakui pada Desember 2025 bahwa prompt injection “mungkin tidak akan pernah diselesaikan sepenuhnya.”

Dari Claude yang secara otonom melewati batas izin, hingga peta panorama enam kategori ancaman yang digambar oleh DeepMind—semuanya mengarah pada realitas yang sama.

Internet dibangun untuk mata manusia. Sekarang ia sedang diubah untuk melayani para robot.

Seiring AI agent semakin mendalam masuk ke sistem keuangan, medis, dan kantor harian kita, “jebakan” ini tidak lagi sekadar demonstrasi teknologi, tetapi bisa menjadi tempat bahan bakar yang memicu kerugian harta benda nyata bahkan gejolak sosial.

Laporan DeepMind ini seperti alarm tanda bahaya yang mendesak: kita tidak bisa menambal fondasi yang berlubang-lubang setelah membangun sebuah “ekonomi agent” yang sangat fungsional.

Referensi: