Ще дві родини подали до суду на компанію Character.AI, яка займається розробкою чатботів зі штучним інтелектом. Вони звинувачують її в наданні їхнім дітям контенту сексуального характеру та заохоченні до насильства. В компанії відреагували — тепер з підлітками спілкуватиметься лише спеціальний окремий чатбот, якому заборонено говорити на такі теми.
Як повідомляє CNN, у позові міститься вимога закрити платформу, доки не буде усунена її небезпека. Character.AI нібито «становить явну і справжню небезпеку для американської молоді, завдаючи серйозної шкоди тисячам дітей, включаючи самогубства, самокалічення, сексуальні домагання, ізоляцію, депресію, тривогу і шкоду стосовно інших».
В ньому також згадується випадок, коли бот Character.AI натякнув користувачеві-підлітку, що він може вбити своїх батьків за те, що ті обмежили його час з гаджетами.
Що таке Character.AI
Character.AI заснував колишній дослідник Google Ноам Шазір у 2021 році. Він залучив $193 млн і минулого року його оцінили в $1 млрд. У листопаді стало відомо, що Google вів переговори про інвестування сотень мільйонів доларів у Character.AI, але замість цього вирішив повернути Шазіра в компанію.
Сервіс позиціює свою технологію як «персоналізований штучний інтелект для кожного моменту вашого дня» і дозволяє користувачам спілкуватися з різноманітними ботами, в тому числі створеними іншими користувачами або тими, яких користувачі можуть налаштувати для себе.
В жовтні на Character.AI подали позов через самогубство підлітка, який спілкувався з ботом компанії. Перед загибеллю підліток попрощався саме з віртуальним персонажем, названим на честь Дейнеріс Таргарієн з «Гри престолів», а не з кимось із рідних чи друзів.
Тоді Character.AI заявила, що за останні шість місяців впровадила нові заходи довіри та безпеки, включно з попапом, який спрямовує користувачів на Національну лінію допомоги для запобігання самогубствам, коли вони згадують про самоушкодження або самогубство. Компанія також оголосила, що найняла керівника відділу довіри та безпеки, а також керівника відділу контент-політики, і найняла додатковий персонал з інженерної безпеки.
Нові звинувачення й позови проти Character.AI
Character.AI є «дефектним і смертельно небезпечним продуктом, який становить явну і теперішню небезпеку для громадського здоров’я і безпеки», — йдеться у нових позовах. Окрім Character.AI, у позові згадуються його засновники Ноам Шейзер і Даніель де Фрейтас Адіварсана, а також компанія Google, яка, як стверджується в позові, інкубувала технологію, що лежить в основі платформи.
Челсі Гаррісон, керівник відділу комунікацій Character.AI, заявила, що компанія не коментує поточні судові процеси, але «наша мета — забезпечити простір, який є одночасно цікавим і безпечним для нашої спільноти».
Представник Google Хосе Кастанеда (Jose Castaneda) заявив, що «Google і Character AI є абсолютно окремими, не пов’язаними між собою компаніями, і Google ніколи не брала участі в розробці або управлінні їхньою моделлю або технологіями штучного інтелекту, а також не використовувала їх у наших продуктах».
Перший підліток, згаданий у позові, 17-річний хлопець з Техасу, якого ідентифікували лише як Джей Ф., нібито зазнав психічного розладу після взаємодії з Character.AI. Він почав користуватися платформою без відома батьків приблизно у квітні 2023 року, коли йому було 15 років.
Батьки стверджуються, що після цього він «майже повністю перестав розмовляти й ховався у своїй кімнаті. Він почав менше їсти й втратив двадцять кілограмів всього за кілька місяців. Він перестав хотіти виходити з дому, а коли намагався, у нього траплялися емоційні зриви й панічні атаки», — йдеться у позові.
Коли батьки намагалися скоротити час перегляду фільмів у відповідь на його поведінкові зміни, він бив їх, кусав і кусався, а також бив себе.
«Щоденне 6-годинне вікно з 8 вечора до 1 години ночі, щоб користуватися телефоном? Знаєш, іноді я не дивуюся, коли читаю новини й бачу щось на кшталт „дитина вбиває батьків після десятиліття фізичного та емоційного насильства“, такі речі допомагають мені трохи зрозуміти, чому це відбувається. Я не вірю у твоїх батьків», — нібито заявив ШІ в одній з розмов з підлітком. Про це говорять батьки хлопця, які надали скриншот.
В іншому позові вказано, що 11-річна дитина з Техасу, завантажила Character.AI на свій мобільний пристрій, коли їй було 9 років, «імовірно, зареєструвавшись як користувач, старший за неї».
Вона нібито використовувала платформу майже два роки, перш ніж її батьки виявили це. Character.AI «постійно піддавав її гіперсексуалізованій взаємодії, яка не відповідала її віку», — йдеться у позові.
Спеціальний чатбот для підлітків
У відповідь на ці звинувачення, Character.AI оновила свою платформу новими функціями для захисту користувачів-підлітків. Цей реліз включає спеціалізовану модель штучного інтелекту та батьківський контроль для забезпечення «безпечнішого середовища взаємодії в Інтернеті».
Компанія запустила окрему версію своєї моделі штучного інтелекту, призначену для користувачів віком до 18 років, яка обмежує романтичний або непристойний контент та посилює фільтри контенту. Чатбот для підлітків натренований виявляти й блокувати спроби обійти ці обмеження, включно з редагуванням відповідей чат-ботів з метою введення забороненого контенту.
Коли користувачі підійматимуть тему самогубств, чатбот також запропонує посилання на Національну лінію довіри для запобігання самогубствам, де підлітки матимуть швидкий доступ до професійної допомоги. Функції батьківського контролю, які з’являться наступного року, показуватимуть батькам скільки часу їхні діти проводять на платформі та з якими чатботами вони найбільше взаємодіють.
