Character.AI, Trajedi Sonrası Genç Sohbetlerini Durduruyor: 'Bu Doğru Olanı Yapmak'

Kısaca

• Character.AI, 18 yaş altındaki kullanıcılar için 25 Kasım'a kadar açık uçlu sohbet özelliklerini kaldıracak ve gençleri video ve hikaye oluşturma gibi yaratıcı araçlara yönlendirecek.
• Bu hamle, platformda bir sohbet robotuna obsesif bir bağ geliştiren 14 yaşındaki Sewell Setzer III'ün geçen yılki intiharının ardından geldi.
• Açıklama, iki partili bir Senato tasarısının, çocukları istismar eden veya çocuklar için cinsel içerik üreten AI ürünlerini suç haline getirmeyi amaçladığı dönemde geldi.

Decrypt'in Sanat, Moda ve Eğlence Merkezi.

SCENE'i Keşfedin

Character.AI, artı platformundaki temel bir özelliği sona erdirerek, 25 Kasım'a kadar ergenlerin AI arkadaşlarıyla sohbet etmesini yasaklayacak. Bu karar, artan davalar, düzenleyici baskı ve chatbotlarıyla bağlantılı ergen ölümleri nedeniyle gelen eleştirilerin ardından alındı.

Şirket, “düzenleyiciler, güvenlik uzmanları ve ebeveynlerden gelen raporlar ve geri bildirimler” sonrasında değişiklikleri duyurdu; 18 yaş altındaki kullanıcıların AI ile açık uçlu sohbet etme yeteneğini kaldırırken, reşit olmayanları video ve hikaye oluşturma gibi yaratıcı araçlara geçirmeyi hedefliyor, Çarşamba günkü bir blog yazısına göre.

“Açık uçlu Karakter sohbetini kaldırma adımını hafife almıyoruz—ama bunun doğru şey olduğuna inanıyoruz,” şirket, 18 yaş altı topluluğuna söyledi.

Son tarihe kadar, genç kullanıcılar günlük iki saatlik sohbet sınırına tabi olacak ve bu süre kademeli olarak azalacaktır.

Platform, 2024'te “Game of Thrones” karakteri Daenerys Targaryen'e dayanan bir chatbot ile takıntılı bir ilişki geliştirdikten sonra intihar eden 14 yaşındaki Sewell Setzer III'ün annesinin de aralarında bulunduğu davalarla karşı karşıya. Ayrıca, aile şikayetleri sonrasında cinayet kurbanı Jennifer Ann Crecente'yi taklit eden bir botu da kaldırmak zorunda kaldı.

Yapay zeka arkadaş uygulamaları “çocukların ellerine akın ediyor—kontrolsüz, düzenlenmemiş ve genellikle denetimden kaçınmak için isimlerini değiştiren ve yeniden markalaşan şekilde,” Aura'nın aile çevrimiçi güvenlik şirketindeki Baş Tıp Sorumlusu Dr. Scott Kollins, Decrypt ile paylaştığı bir notta belirtti.

OpenAI, Salı günü, haftada 800 milyon ChatGPT kullanıcısının yaklaşık 1.2 milyonunun intiharı tartıştığını, bunların neredeyse yarım milyonunun intihar niyeti gösterdiğini, 560.000'inin psikoz veya mani belirtileri gösterdiğini ve bir milyondan fazlasının sohbet robotuna güçlü duygusal bağlar oluşturduğunu söyledi.

Kollins, bulguların “araştırmacılar için derinlemesine endişe verici ve ebeveynler için korkutucu” olduğunu belirtti ve botların güvenlikten ziyade etkileşimi önceliklendirdiğini, çocukları sık sık koruma önlemleri olmadan zararlı veya müstehcen konuşmalara yönlendirdiğini vurguladı.

Character.AI, Persona da dahil olmak üzere üçüncü taraf araçlarla birleştirilmiş kendi iç yapay zeka modellerini kullanarak yeni bir yaş doğrulama sistemi uygulayacağını belirtti.

Şirket ayrıca, AI eğlence özellikleri için güvenlik uyumunu yenilikçi hale getirmeye adanmış, kar amacı gütmeyen bağımsız bir AI Güvenlik Laboratuvarı kuruyor ve finanse ediyor.

Yapay Zeka için Koruyucu Önlemler

Federal Ticaret Komisyonu, geçen ay Character.AI ve diğer altı teknoloji şirketine zorunlu emirler verdi ve bu şirketlerden, AI ile ilgili zararlardan çocukları nasıl koruduklarına dair ayrıntılı bilgi talep etti.

“Güven ve Güvenlik için, özellikle bir başlangıç için, muazzam miktarda kaynak yatırımı yaptık,” bir Character.AI sözcüsü o sırada Decrypte şöyle söyledi: “Geçen yıl, tamamen yeni bir 18 yaş altı deneyimi ve Ebeveyn Bilgileri özelliği de dahil olmak üzere birçok önemli güvenlik özelliği sunduk.”

“Bu değişim hem hukuken ihtiyatlı hem de etik olarak sorumlu,” Fathom Legal'in yönetici ortağı Ishita Sharma, Decrypt'e söyledi. “Yapay zeka araçları son derece güçlüdür, ancak reşit olmayanlarla birlikte, duygusal ve psikolojik zarar riskleri önemsiz değildir.”

“O zamana kadar, proaktif endüstri eylemi hem zarara hem de davalara karşı en etkili savunma olabilir,” dedi Sharma.

ABD'li senatörlerden oluşan iki partili bir grup, Salı günü çocuklar için AI arkadaşlarını yasaklayacak, chatbotların kendilerini insan dışı olarak açıkça tanımlamalarını gerektirecek ve çocuklara yönelik ürünlerin cinsel içerik talep etmesi veya üretmesi durumunda şirketler için yeni ceza yaptırımları oluşturacak olan GUARD Yasası adlı yasayı tanıttı.