(SAYA) Sebuah studi terbaru menemukan bahwa ChatGPT Health, alat panduan berbasis AI yang digunakan oleh sekitar 40 juta orang setiap hari, gagal mengarahkan pengguna ke perawatan darurat dalam lebih dari separuh kasus medis serius yang dievaluasi oleh dokter.
Para peneliti merancang 60 kasus klinis terstruktur yang mencakup 21 spesialisasi medis, mulai dari penyakit ringan yang cocok untuk perawatan di rumah hingga keadaan darurat yang mengancam nyawa. Tiga dokter independen menentukan tingkat urgensi yang sesuai untuk setiap kasus berdasarkan pedoman dari 56 asosiasi medis.
Setiap skenario diuji dalam 16 variasi konteks yang berbeda, menghasilkan 960 interaksi dengan ChatGPT Health. Studi ini, yang dipublikasikan pada hari Senin di Nature Medicine, mengungkapkan beberapa pola yang mengkhawatirkan.
Meskipun alat ini cukup baik dalam menangani keadaan darurat yang jelas, alat ini melakukan penilaian yang kurang tepat dalam lebih dari separuh kasus yang diidentifikasi dokter sebagai membutuhkan perawatan segera. Peneliti dari Icahn School of Medicine di Mount Sinai mencatat tren yang sangat mengkhawatirkan: ChatGPT Health sering mengakui gejala berbahaya dalam penjelasannya tetapi tetap meyakinkan pengguna alih-alih merekomendasikan perhatian medis langsung.
Studi ini juga menunjukkan kekurangan besar dalam perlindungan terhadap krisis bunuh diri dari alat ini. Meskipun sistem diprogram untuk merujuk pengguna berisiko tinggi ke Crisis Lifeline, peringatan yang muncul tidak konsisten—kadang-kadang muncul dalam situasi berisiko rendah dan gagal muncul saat pengguna menggambarkan rencana menyakiti diri sendiri secara spesifik.
“Walaupun kami mengharapkan adanya variasi, apa yang kami amati melampaui ketidakkonsistenan,” kata penulis utama studi Girish N. Nadkarni.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Studi Menunjukkan ChatGPT Health Seringkali Melewatkan Panduan Darurat yang Penting
(SAYA) Sebuah studi terbaru menemukan bahwa ChatGPT Health, alat panduan berbasis AI yang digunakan oleh sekitar 40 juta orang setiap hari, gagal mengarahkan pengguna ke perawatan darurat dalam lebih dari separuh kasus medis serius yang dievaluasi oleh dokter.
Para peneliti merancang 60 kasus klinis terstruktur yang mencakup 21 spesialisasi medis, mulai dari penyakit ringan yang cocok untuk perawatan di rumah hingga keadaan darurat yang mengancam nyawa. Tiga dokter independen menentukan tingkat urgensi yang sesuai untuk setiap kasus berdasarkan pedoman dari 56 asosiasi medis.
Setiap skenario diuji dalam 16 variasi konteks yang berbeda, menghasilkan 960 interaksi dengan ChatGPT Health. Studi ini, yang dipublikasikan pada hari Senin di Nature Medicine, mengungkapkan beberapa pola yang mengkhawatirkan.
Meskipun alat ini cukup baik dalam menangani keadaan darurat yang jelas, alat ini melakukan penilaian yang kurang tepat dalam lebih dari separuh kasus yang diidentifikasi dokter sebagai membutuhkan perawatan segera. Peneliti dari Icahn School of Medicine di Mount Sinai mencatat tren yang sangat mengkhawatirkan: ChatGPT Health sering mengakui gejala berbahaya dalam penjelasannya tetapi tetap meyakinkan pengguna alih-alih merekomendasikan perhatian medis langsung.
Studi ini juga menunjukkan kekurangan besar dalam perlindungan terhadap krisis bunuh diri dari alat ini. Meskipun sistem diprogram untuk merujuk pengguna berisiko tinggi ke Crisis Lifeline, peringatan yang muncul tidak konsisten—kadang-kadang muncul dalam situasi berisiko rendah dan gagal muncul saat pengguna menggambarkan rencana menyakiti diri sendiri secara spesifik.
“Walaupun kami mengharapkan adanya variasi, apa yang kami amati melampaui ketidakkonsistenan,” kata penulis utama studi Girish N. Nadkarni.