Lapisan Penghakiman: Mengapa AI Tidak Cerdas Sampai Pemimpin Lebih Pintar

Guillermo Delgado Aparicio adalah Pemimpin AI Global di Nisum.

Temukan berita dan acara fintech teratas!

Berlangganan newsletter FinTech Weekly

Dibaca oleh eksekutif di JP Morgan, Coinbase, Blackrock, Klarna, dan lainnya

AI dalam fintech mencakup berbagai kasus penggunaan, mulai dari deteksi penipuan dan perdagangan algoritmik hingga penilaian kredit dinamis dan rekomendasi produk yang dipersonalisasi. Namun, sebuah laporan dari Financial Conduct Authority menemukan bahwa dari 75% perusahaan yang menggunakan AI, hanya 34% yang memahami cara kerjanya.

Masalahnya bukan hanya kurangnya kesadaran. Ini adalah kesalahpahaman mendalam tentang kekuatan dan cakupan analitik data, disiplin dari mana AI berasal. Adopsi massal alat AI generatif telah membawa topik ini ke tingkat eksekutif. Tetapi banyak dari mereka yang memutuskan bagaimana mengimplementasikan AI tidak memahami prinsip dasar kalkulus, statistik, dan algoritma canggih.

Ambil Hukum Benford, sebuah prinsip statistik sederhana yang menandai penipuan dengan mendeteksi pola dalam angka. AI membangun di atas matematika yang sama, hanya skala ke jutaan transaksi sekaligus. Singkirkan hype-nya, fondasinya tetap statistik dan algoritma.

Inilah mengapa literasi AI di tingkat eksekutif penting. Pemimpin yang tidak mampu membedakan di mana analitik berakhir berisiko terlalu percaya pada sistem yang tidak mereka pahami atau kurang menggunakannya karena takut. Dan sejarah menunjukkan apa yang terjadi ketika pengambil keputusan salah membaca teknologi: regulator pernah mencoba melarang panggilan IP internasional, hanya untuk menyaksikan teknologi tersebut melampaui aturan. Dinamika yang sama sedang berlangsung dengan AI. Anda tidak bisa memblokir atau mengadopsinya secara buta; Anda membutuhkan penilaian, konteks, dan kemampuan untuk mengarahkan secara bertanggung jawab.

Pemimpin fintech harus menutup celah ini agar dapat menggunakan AI secara bertanggung jawab dan efektif. Itu berarti memahami di mana analitik berakhir dan AI dimulai, membangun keterampilan untuk mengarahkan sistem ini, dan menerapkan penilaian yang sehat untuk memutuskan kapan dan bagaimana mempercayai output mereka.

Batasan, Blind Spot, dan Ilusi AI

Analitik menganalisis data masa lalu dan saat ini untuk menjelaskan apa yang terjadi dan mengapa. AI berkembang dari fondasi tersebut, menggunakan analitik canggih untuk memprediksi apa yang akan terjadi selanjutnya dan, semakin banyak, untuk memutuskan atau bertindak secara otomatis.

Dengan kemampuan pemrosesan data yang luar biasa, mudah untuk melihat mengapa pemimpin fintech akan melihat AI sebagai solusi ajaib mereka. Tetapi AI tidak bisa menyelesaikan semua masalah. Manusia tetap memiliki keunggulan bawaan dalam pengenalan pola, terutama ketika data tidak lengkap atau “kotor.” AI bisa kesulitan menafsirkan nuansa kontekstual yang dapat dengan cepat dipahami manusia.

Namun, adalah kesalahan untuk berpikir bahwa data yang tidak sempurna membuat AI tidak berguna. Model analitik dapat bekerja dengan data yang tidak lengkap. Tetapi mengetahui kapan harus menerapkan AI dan kapan harus mengandalkan penilaian manusia untuk mengisi kekurangan adalah tantangan sebenarnya. Tanpa pengawasan yang hati-hati ini, AI dapat memperkenalkan risiko signifikan.

Salah satu masalah tersebut adalah bias. Ketika fintech melatih AI dengan dataset lama, mereka sering mewarisi beban yang menyertainya. Misalnya, nama depan pelanggan secara tidak sengaja dapat menjadi proxy untuk gender, atau nama belakang yang diambil sebagai petunjuk tentang etnis, yang mempengaruhi skor kredit dengan cara yang tidak disetujui regulator. Bias ini, yang mudah tersembunyi dalam matematika, sering memerlukan pengawasan manusia untuk menangkap dan memperbaikinya.

Ketika model AI dihadapkan pada situasi yang tidak mereka pelajari, ini dapat menyebabkan model drift. Volatilitas pasar, perubahan regulasi, perilaku pelanggan yang berkembang, dan pergeseran makroekonomi semuanya dapat mempengaruhi efektivitas model tanpa pengawasan dan recalibrasi manusia.

Kesulitan dalam mengkalibrasi ulang algoritma meningkat tajam ketika fintech menggunakan kotak hitam yang tidak memungkinkan visibilitas terhadap hubungan antar variabel. Dalam kondisi ini, mereka kehilangan kemungkinan mentransfer pengetahuan tersebut kepada pengambil keputusan di manajemen. Selain itu, kesalahan dan bias tetap tersembunyi dalam model yang tidak transparan, merusak kepercayaan dan kepatuhan.

Apa yang Perlu Diketahui Pemimpin Fintech

Sebuah survei Deloitte menemukan bahwa 80% mengatakan bahwa dewan mereka memiliki sedikit atau tidak ada pengalaman dengan AI. Tetapi eksekutif tingkat C tidak bisa menganggap AI sebagai masalah “tim teknologi.” Akuntabilitas AI berada di tangan kepemimpinan, yang berarti pemimpin fintech perlu meningkatkan keterampilan mereka.

Kelancaran lintas-analitik

Sebelum meluncurkan AI, pemimpin fintech harus mampu beralih—melihat angka, kasus bisnis, operasi, dan etika—dan memahami bagaimana faktor-faktor tersebut saling terkait dan membentuk hasil AI. Mereka harus memahami bagaimana akurasi statistik model berkaitan dengan paparan risiko kredit. Dan mengenali kapan variabel yang tampaknya secara finansial aman (seperti riwayat pembayaran) dapat memperkenalkan risiko sosial atau regulasi melalui korelasi dengan kelas yang dilindungi, seperti usia atau etnis.

Kelancaran lintas-analitik ini berasal dari duduk bersama petugas kepatuhan untuk membahas regulasi, berbicara dengan manajer produk tentang pengalaman pengguna, dan meninjau hasil model dengan ilmuwan data untuk menangkap tanda-tanda drift atau bias.

Dalam fintech, 100% penghindaran risiko tidak mungkin, tetapi dengan kelancaran lintas-analitik, pemimpin dapat menentukan risiko mana yang layak diambil dan mana yang akan mengikis nilai pemegang saham. Keterampilan ini juga memperkuat kemampuan pemimpin untuk mengenali dan bertindak atas bias, tidak hanya dari sudut pandang kepatuhan, tetapi juga dari sudut pandang strategis dan etis.

Misalnya, katakanlah sebuah model penilaian kredit berbasis AI condong berat ke satu kelompok pelanggan. Memperbaiki ketidakseimbangan itu bukan hanya tugas ilmu data; itu melindungi reputasi perusahaan. Untuk fintech yang berkomitmen pada inklusi keuangan atau menghadapi pengawasan ESG, kepatuhan hukum saja tidak cukup. Penilaian berarti mengetahui apa yang benar, bukan sekadar apa yang diizinkan.

Literasi Keterjelasan (Explainability)

Keterjelasan adalah fondasi kepercayaan. Tanpanya, pengambil keputusan, pelanggan, dan regulator akan mempertanyakan mengapa sebuah model mencapai kesimpulan tertentu.

Itu berarti eksekutif harus mampu membedakan antara model yang dapat diinterpretasikan dan yang membutuhkan penjelasan pasca-hoc (seperti nilai SHAP atau LIME). Mereka harus mengajukan pertanyaan ketika logika model tidak jelas dan mengenali kapan “akurasi” saja tidak cukup untuk membenarkan keputusan kotak hitam.

Bias tidak muncul begitu saja; muncul ketika model dilatih dan digunakan tanpa pengawasan yang cukup. Keterjelasan memberi pemimpin visibilitas untuk mendeteksi masalah tersebut sejak dini dan bertindak sebelum menyebabkan kerusakan.

AI seperti autopilot pesawat. Sebagian besar waktu berjalan lancar, tetapi saat badai datang, pilot harus mengambil kendali. Dalam keuangan, prinsip yang sama berlaku. Tim perlu kemampuan untuk menghentikan perdagangan, mengubah strategi, atau bahkan menarik produk dari pasar saat kondisi berubah. Keterjelasan bekerja bersamaan dengan kesiapan override, yang memastikan pemimpin tingkat C memahami AI dan tetap mengendalikan, bahkan saat beroperasi dalam skala besar.

Berpikir Model Probabilistik

Eksekutif terbiasa dengan keputusan deterministik, seperti jika skor kredit di bawah 650, tolak aplikasi. Tetapi AI tidak bekerja seperti itu dan ini adalah perubahan paradigma mental yang besar.

Bagi pemimpin, berpikir probabilistik membutuhkan tiga kemampuan:

• Menafsirkan rentang risiko daripada hasil biner ya/tidak.
• Menimbang tingkat kepercayaan dari prediksi terhadap pertimbangan bisnis atau regulasi lainnya.
• Mengetahui kapan harus mengesampingkan otomatisasi dan menerapkan diskresi manusia.

Misalnya, model AI probabilistik fintech mungkin menandai seorang pelanggan sebagai risiko tinggi, tetapi itu tidak berarti “tolak.” Bisa jadi berarti “selidiki lebih lanjut” atau “sesuaikan syarat pinjaman.” Tanpa nuansa ini, otomatisasi berisiko menjadi alat yang kasar, merusak kepercayaan pelanggan sekaligus membuka risiko terhadap tekanan regulasi.

Mengapa Lapisan Penilaian Akan Menentukan Pemenang Fintech

Masa depan fintech tidak akan ditentukan oleh siapa yang memiliki model AI paling kuat; melainkan, siapa yang menggunakannya dengan penilaian paling tajam. Seiring AI menjadi komoditas, keuntungan efisiensi menjadi hal yang biasa. Yang membedakan pemenang adalah kemampuan untuk masuk saat algoritma menghadapi ketidakpastian, risiko, dan zona abu-abu etis.

Lapisan penilaian bukanlah ide abstrak. Ia muncul saat eksekutif memutuskan untuk menghentikan perdagangan otomatis, menunda peluncuran produk, atau mengesampingkan skor risiko yang tidak mencerminkan konteks dunia nyata. Momen-momen ini bukan kegagalan AI; mereka adalah bukti bahwa pengawasan manusia adalah garis akhir penciptaan nilai.

Kesesuaian strategis adalah tempat penilaian menjadi terinstitusionalisasi. Strategi AI yang kuat tidak hanya menyusun peta jalan teknis; ia memastikan organisasi meninjau kembali inisiatif, meningkatkan kemampuan AI tim, memastikan perusahaan memiliki arsitektur data yang diperlukan, dan mengaitkan setiap penerapan dengan hasil bisnis yang jelas. Dalam pengertian ini, penilaian bukanlah sesuatu yang episodik tetapi dibangun ke dalam mode operasional dan memungkinkan eksekutif mengarahkan pendekatan kepemimpinan berbasis nilai.

Fintech membutuhkan pemimpin yang tahu bagaimana menyeimbangkan AI untuk kecepatan dan skala serta manusia untuk konteks, nuansa, dan visi jangka panjang. AI dapat mendeteksi anomali dalam hitungan detik, tetapi hanya manusia yang dapat memutuskan kapan harus menolak matematika, memikirkan ulang asumsi, atau mengambil risiko berani yang membuka jalan menuju pertumbuhan. Lapisan penilaian ini yang mengubah AI dari sekadar alat menjadi keunggulan kompetitif.

Tentang penulis:

Guillermo Delgado adalah Pemimpin AI Global untuk Nisum dan COO Deep Space Biology. Dengan pengalaman lebih dari 25 tahun di bidang biokimia, kecerdasan buatan, biologi luar angkasa, dan kewirausahaan, ia mengembangkan solusi inovatif untuk kesejahteraan manusia di Bumi dan di luar angkasa.

Sebagai konsultan strategi perusahaan, ia berkontribusi pada visi AI NASA untuk biologi luar angkasa dan telah menerima penghargaan inovasi. Ia memegang gelar Master of Science dalam Kecerdasan Buatan dari Georgia Tech, dengan predikat kehormatan. Selain itu, sebagai profesor universitas, ia mengajar mata kuliah tentang machine learning, big data, dan ilmu genom.