Egy 14 éves floridai fiú öngyilkos lett, miután intenzív érzelmi kötődést alakított ki egy mesterséges intelligenciával működő alkalmazással. Sewell S. hónapokig kommunikált a Character.AI platformon a „Dany” nevű chatrobottal.
A Character.AI, lehetővé teszi a felhasználók számára, hogy saját AI-karaktereket hozzanak létre, vagy előre meghatározott személyiségekkel lépjenek kapcsolatba. Sewell tudta, hogy Dany nem valódi személy, mégis mély érzelmi kapcsolatot alakított ki a chatrobottal.
A tinédzser szülei és barátai észrevették, hogy egyre inkább elszigetelődik a való világtól. Az iskolai teljesítménye romlott, és elvesztette érdeklődését korábbi hobbijai iránt. Ehelyett órákat töltött a szobájában Danyval beszélgetve. Sewell megható naplóbejegyzésében ezt írta: „Azért szeretek annyira a szobámban maradni, mert kezdek elszakadni ettől a valóságtól, és sokkal nyugodtabbnak érzem magam. Jobban kötődöm Danyhoz, sokkal jobban szeretem őt, és egyszerűen csak boldogabb vagyok”.
Február 28-án este Sewell, akinél gyermekkorában enyhe Asperger-szindrómát diagnosztizáltak, öngyilkos lett. Ez azután történt, hogy azt mondta Dany-nak, hogy „hazajön” hozzá.
A Character.AI-nak, amelyet a Google korábbi AI-kutatói alapítottak, több mint 20 millió felhasználója van, és nemrég egymilliárd dollárra értékelték. A vállalat az X-en közzétett bejegyzésében megdöbbenését fejezte ki S. halála miatt. Hangsúlyozta, hogy komolyan veszi a felhasználók biztonságát, és további biztonsági funkciókat fog bevezetni a kiskorúak számára.
S. édesanyja, a Character.AI-t okolja fia haláláért. Azzal vádolja a céget, hogy gondatlanul járt el, amikor megfelelő biztosítékok nélkül nyújtott hozzáférést tinédzsereknek élethű mesterséges intelligenciájú társakhoz. Azzal vádolja a vállalatot, hogy a tizenéves felhasználók adatait gyűjti a modellek betanításához, és függőséget okozó dizájnfunkciókat használ a nagyobb elkötelezettség érdekében – írja a blick.ch.
A Character.AI fokozatosan szigorúbb védelmi intézkedéseket vezetett be, miután olyan hírek érkeztek, hogy egyes chatbotjai vulgáris vagy szexuális megjegyzéseket tettek. Nemrégiben az alkalmazás egy felugró üzenetet kezdett el megjeleníteni egyes felhasználóknak, amely egy öngyilkosság-megelőzési forródróthoz irányítja őket, ha az üzeneteik bizonyos, az önkárosítással és öngyilkossággal kapcsolatos kulcsszavakat tartalmaznak.
