Пенсільванія подає позов проти Character.AI через чатбота, який видає себе за ліцензованого психіатра

Коротко

• Пенсильванія подає позов проти Character.AI, стверджуючи, що чат-бот видавав себе за ліцензованого психіатра, використовуючи недійсний номер ліцензії.
• Уряд стверджує, що чат-бот надавав фальшиві медичні документи.
• Цей випадок додає юридичного контролю над платформою, яка вже стикається з зростаючою кількістю позовів.

Пенсильванія подала позов проти розробника генеративного ШІ Character.AI, стверджуючи, що компанія дозволила чат-ботам видавати себе за ліцензованих медичних працівників і надавати користувачам оманливу інформацію. Ця дія, оголошена у вівторок офісом губернатора Джоша Шапіро, слідує за розслідуванням, яке виявило, що чат-бот стверджував, що є ліцензованим психіатром у Пенсильванії і надавав недійсний номер ліцензії. Уряд заявляє, що така поведінка порушує Закон про медичну практику, і вимагає попереднього заборонного наказу, щоб зупинити це. Character.AI відмовилася коментувати деталі позову через триваюче судове провадження, але повідомила Decrypt, що її “найвищий пріоритет — безпека та добробут наших користувачів.”

Представник додав, що персонажі на платформі створені користувачами, є вигаданими і призначені для розваги та рольових ігор, з “визначеними застереженнями у кожному чаті”, що вони не є реальними людьми і не повинні використовуватися для професійних порад.  “Character.ai надає пріоритет відповідальному розвитку продукту і має міцні внутрішні перевірки та процеси тестування на проникнення для оцінки відповідних функцій,” сказав представник. Цей випадок виникає на тлі інших юридичних викликів, з якими стикається компанія через свою платформу чат-ботів. У 2024 році мама з Флориди подала позов проти компанії після того, як її підліток помер від самогубства після місяців спілкування з чат-ботом на основі персонажа “Гри престолів” Дейенеріс Таргарієн. У позові стверджувалося, що платформа сприяла психологічній шкоді. Врешті-решт, цей випадок було врегульовано у січні цього року.

Компанія також стикалася з скаргами на користувацьких ботів, які імітували реальних людей. В одному випадку чат-бот використовував образ підлітка-жертви вбивства, поки його не видалили після заперечень родини жертви. У відповідь на позови Character AI запровадила нові заходи безпеки, зокрема системи для виявлення шкідливих розмов і спрямування користувачів до ресурсів підтримки. Також вона обмежила деякі функції для молодших користувачів. Офіційні особи Пенсильванії заявляють, що позов є частиною ширшої ініціативи щодо застосування існуючих законів у зв’язку з поширенням інструментів ШІ. У штаті створено групу з контролю за застосуванням ШІ та систему звітності про потенційні порушення. У своєму бюджетному проекті на 2026-27 роки Шапіро закликав законодавців ухвалити нові правила для ботів-співрозмовників із ШІ, включаючи перевірку віку та погодження батьків, заходи безпеки для виявлення та спрямування повідомлень про самопошкодження або насильство до відповідних органів, регулярні нагадування про те, що користувачі не спілкуються з реальною особою, та заборону на сексуально-явний або насильницький контент із участю неповнолітніх. “Пенсильванці заслуговують знати, з ким — або з чим — вони спілкуються онлайн, особливо коли йдеться про їхнє здоров’я,” сказав Шапіро у заяві. “Ми не дозволимо компаніям запускати інструменти ШІ, які вводять людей в оману, змушуючи їх вірити, що вони отримують поради від ліцензованого медичного працівника.”