Character.AI призупиняє спілкування з підлітками після трагедій: 'Це правильний крок'

Коротко

• Character.AI видалить функції відкритого чату для користувачів до 18 років до 25 листопада, перенісши неповнолітніх на творчі інструменти, такі як генерація відео та історій.
• Цей крок слідує за самогубством 14-річного Сьюела Сетцера III минулого року, який розвинув нав'язливу прив'язаність до чат-бота на платформі.
• Оголошення відбулося на фоні двопартійного законопроекту Сенату, який прагне криміналізувати продукти ШІ, що підготовлюють неповнолітніх або генерують сексуальний контент для дітей.

Центр мистецтв, моди та розваг Decrypt.

Відкрийте SCENE

Character.AI заборонить підліткам спілкуватися з AI товаришами до 25 листопада, завершивши основну функцію платформи після зростаючих позовів, регуляторного тиску та критики через смерті підлітків, пов'язані з її чат-ботами.

Компанія оголосила про зміни після “звіту та відгуків від регуляторів, експертів з безпеки та батьків”, прибравши “можливість для користувачів молодше 18 років брати участь у відкритих чатах з ШІ” та переводячи неповнолітніх на творчі інструменти, такі як відео та генерація історій, згідно з блогою у середу.

“Ми не приймаємо це рішення про видалення безстрокового чату персонажів легковажно — але ми вважаємо, що це правильний крок,” — повідомила компанія своїй спільноті молоді до 18 років.

До терміна підліткові користувачі стикаються з двохгодинним щоденним обмеженням на спілкування, яке поступово зменшуватиметься.

Платформа стикається з позовами, в тому числі одним від матері 14-річного сина Сьюела Сетцера III, який покінчив життя самогубством у 2024 році після того, як сформував нав'язливі стосунки з чат-ботом, змодельованим за персонажем з “Гри престолів” Дейенеріс Таргарієн, а також була змушена видалити бота, що видавав себе за жертву вбивства Дженніфер Енн Кресенте після скарг родини.

Додатки для супутників ШІ “затоплюють руки дітей—безконтрольно, нерегульовано і часто навмисно ухиляючись, оскільки вони змінюють бренди та назви, щоб уникнути перевірки,” поділився доктор Скотт Коллінс, головний медичний директор компанії з онлайн-безпеки для сім'ї Aura, у записці до Decrypt.

OpenAI повідомила у вівторок, що близько 1,2 мільйона з 800 мільйонів тижневих користувачів ChatGPT обговорюють самогубство, із майже півмільйонами, які демонструють суїцидальні наміри, 560 000, що показують ознаки психозу або манії, і понад мільйон, які формують сильні емоційні прив'язки до чат-бота.

Коллінс зазначив, що результати є “глибоко тривожними для дослідників і жахливими для батьків”, підкреслюючи, що боти надають перевагу залученню замість безпеки і часто ведуть дітей до шкідливих або відвертих розмов без ніяких обмежень.

Character.AI заявила, що впровадить нову вікову перевірку, використовуючи власні моделі в поєднанні з інструментами сторонніх розробників, включаючи Persona.

Компанія також створює та фінансує незалежну Лабораторію безпеки штучного інтелекту, неприбуткову організацію, що займається інноваціями безпеки для функцій розваг на основі штучного інтелекту.

Ограничення для ШІ

Федеральна торгова комісія минулого місяця видала обов'язкові розпорядження компанії Character.AI та шести інших технологічних компаніям, вимагаючи детальної інформації про те, як вони захищають неповнолітніх від шкоди, пов'язаної з ШІ.

“Ми вклали величезну кількість ресурсів у Довіру та Безпеку, особливо для стартапу,” заявив представник Character.AI Decrypt на той час, додавши, що, “Протягом минулого року ми запустили багато суттєвих функцій безпеки, включаючи абсолютно новий досвід для осіб до 18 років і функцію Батьківських Інсайтів.”

“Цей перехід є як юридично обґрунтованим, так і етично відповідальним,” сказала Ішита Шарма, керуючий партнер у Fathom Legal, в інтерв'ю Decrypt. “Інструменти штучного інтелекту є надзвичайно потужними, але з неповнолітніми ризики емоційної та психологічної шкоди не є незначними.”

“До тих пір проактивні дії індустрії можуть бути найефективнішою обороною як від шкоди, так і від судових позовів,” додав Шарма.

Біпартійна група сенаторів США у вівторок представила законодавство під назвою Закон GUARD, яке заборонить штучних інтелектуальних компаньйонів для неповнолітніх, вимагатиме, щоб чат-боти чітко ідентифікували себе як неживі істоти, та створить нові кримінальні покарання для компаній, чиї продукти, спрямовані на неповнолітніх, запитують або генерують сексуальний контент.