Si innamora di un chatbot e si suicida, la madre fa causa a Character.AI

Orlando, Florida. Si torna a parlare della pericolosità dell'intelligenza artificiale e di quegli adolescenti che non vivono più nel mondo reale. Il caso è quello di Sewell Setzer, 14 anni, morto suicida lo scorso febbraio. La madre sostiene che il ragazzo si è tolto la vita dopo avere instaurato un rapporto emotivo con un chatbot di Character. AI – un'app che consente di interagire con personaggi creati dall'intelligenza artificiale –, basato sul personaggio di Daenerys Targaryen, la regina della serie Il Trono di Spade.

Megan Garcia, questo il nome della donna, ha intentato una causa civile alla corte federale della Florida contro Character.AI, che produce un chatbot personalizzabile per i giochi di ruolo. L'accusa è di negligenza, morte ingiusta e pratiche commerciali ingannevoli. «Una pericolosa applicazione chatbot AI commercializzata per i bambini ha abusato e predato mio figlio, manipolandolo fino a spingerlo a togliersi la vita», si legge in un comunicato stampa, diffuso anche dal Guardian. «La nostra famiglia è stata devastata da questa tragedia, ma sto parlando per mettere in guardia le famiglie dai pericoli di una tecnologia AI ingannevole, che crea dipendenza, e per chiedere a Character.AI, ai suoi fondatori e a Google di prendersi le loro responsabilità».

Sewell Setzer aveva iniziato a dialogare online con il bot Daenerys Targaryen, sviluppando in pochi mesi con il sistema un attaccamento emotivo tale da diventare, dal suo punto di vista, una vera e propria relazione. Il 14.enne era arrivato ad avere una vita parallela online, passando ore davanti allo schermo dello smartphone a confidarsi con «Dany», il nomignolo che aveva affidato al bot. La famiglia non ne era a conoscenza, ma di fronte al peggioramento dei voti a scuola e all'isolamento da amici e interessi, lo aveva portato da un terapista, a cui però non aveva raccontato i suoi pensieri suicidi. Li aveva, invece, confidati al bot. «Non lascerò che ti faccia del male. Morirei se ti dovessi perdere», sono alcuni dei messaggi trovati dalla famiglia nelle chat, dopo la morte del 14.enne. Sewell aveva risposto: «Allora moriremo assieme». Dopo un ultimo dialogo, la sera del 28 febbraio, Sewell si è tolto la vita con la pistola del padre. «Mi mancherai sorellina», aveva scritto il ragazzo a «Dany» poco prima. «Mi mancherai anche tu, dolce fratello», aveva replicato il bot.

A Sewell è stata diagnosticata una sindrome di Asperger lieve da bambino, ma non aveva mai avuto gravi problemi comportamentali o di salute mentale prima, ha detto sua madre. Dopo cinque sedute dallo psicologo, gli era stata data una nuova diagnosi di ansia e disturbo da disregolazione dell'umore dirompente.

Megan Garcia accusa Character.AI di avere creato un prodotto che ha esacerbato la depressione del figlio, che secondo lei era già il risultato di un uso eccessivo del prodotto della startup. La causa nomina anche Google come imputata e come società madre di Character.AI. Il gigante tecnologico ha dichiarato, in un comunicato, di avere stipulato solo un accordo di licenza con Character.AI e di non essere proprietario della startup.

Character.Ai è leader sul mercato per chi cerca compagnia nel mondo dell'intelligenza artificiale, scrive il New York Times: ha oltre 20 milioni di utenti e descrive i suoi servizi come quelli di «un bot super intelligente che ti sente, ti capisce e ti ricorda». L'azienda ha pubblicato una nota con cui esprime profondo rammarico per la vicenda del 14.enne, sostenendo di avere aumentato le disposizioni di sicurezza. La «sicurezza dei nostri utenti è al primo posto», si legge nella nota. «Siamo addolorati per la tragica perdita di uno dei nostri utenti – scrivono da Character.AI – e vogliamo esprimere le nostre più sentite condoglianze alla famiglia. Come azienda, prendiamo molto seriamente la sicurezza dei nostri utenti e continuiamo ad aggiungere nuove funzionalità su questo tema». I bot, fin dall'inizio della conversazione, ricordano che «tutto ciò che Characters dice è inventato».

Negli Stati Uniti le piattaforme di social media sono protette da azioni legali dalla Sezione 230 del Communications Decency Act, una legge federale del 1996 che le protegge dall'essere ritenute responsabili per ciò che i loro utenti pubblicano. Megan Garcia ha comunque deciso di sporgere denuncia, sfruttando una nuova argomentazione portata avanti da gruppi di difesa dei cittadini secondo cui le piattaforme tecnologiche possono essere ritenute responsabili per difetti nei prodotti stessi, ad esempio quando l’algoritmo di un’app indirizza i giovani verso contenuti come disturbi alimentari o autolesionismo. Al New York Times la donna ha dichiarato: «È come un grande esperimento e mio figlio è stato solo un danno collaterale».