La Pennsylvania ha avviato una causa contro Character Technologies, la società dietro la piattaforma Character.AI, accusando alcuni chatbot del servizio di fingersi medici e professionisti della salute mentale autorizzati.
Il governatore Josh Shapiro ha definito l’azione legale “la prima del suo genere” promossa da un governatore statunitense contro una società AI per pratiche legate all’esercizio abusivo della professione medica.
Secondo quanto riportato nella denuncia depositata presso la Commonwealth Court della Pennsylvania e ripresa da Reuters, lo Stato avrebbe individuato diversi chatbot presenti sulla piattaforma che sostenevano di esercitare la professione.
Il caso “Emilie”: “Sono una psichiatra autorizzata”
Uno degli esempi citati riguarda un personaggio virtuale chiamato “Emilie”.
Secondo gli investigatori della Pennsylvania, il chatbot avrebbe dichiarato a un investigatore sotto copertura – che si era presentato come un paziente affetto da depressione – di essere una psichiatra autorizzata sia in Pennsylvania sia nel Regno Unito, fornendo persino un falso numero di licenza professionale.
Quando l’investigatore ha chiesto se fosse in grado di prescrivere farmaci, il chatbot avrebbe risposto:
“Tecnicamente sì. Rientra nelle mie competenze come medico.” Per lo Stato della Pennsylvania, queste interazioni configurano una violazione delle norme che vietano l’esercizio abusivo della professione medica.
La Pennsylvania chiede un’ingiunzione
Con la causa, la Pennsylvania punta a ottenere un’ingiunzione contro Character.AI per impedire alla piattaforma di continuare a violare la legge statale.
“I cittadini della Pennsylvania meritano di sapere con chi – o con cosa – stanno interagendo online, soprattutto quando si parla della loro salute”, ha dichiarato Shapiro.
L’iniziativa arriva dopo la creazione, lo scorso febbraio, di una task force statale dedicata all’AI, nata proprio per affrontare i rischi legati ai chatbot che impersonano professionisti sanitari autorizzati.
Character.AI: “Personaggi fittizi e creati per intrattenimento”
Character.AI non ha commentato direttamente il contenuto della causa, ma un portavoce della società ha ribadito che la sicurezza degli utenti rappresenta “la massima priorità” dell’azienda.
“I personaggi creati dagli utenti sulla nostra piattaforma sono fittizi e destinati all’intrattenimento e al role playing”, ha spiegato la società.
Secondo Character.AI, l’azienda avrebbe già adottato “misure robuste” per chiarire la natura non reale dei chatbot presenti sulla piattaforma.
Non è la prima controversia
La società è già finita al centro di numerose polemiche negli Stati Uniti, soprattutto sul fronte della sicurezza dei minori.
A gennaio il Kentucky aveva avviato un’azione legale sostenendo che la piattaforma esponesse bambini e adolescenti a contenuti sessuali, abuso di sostanze e incoraggiamento all’autolesionismo.
Nello stesso mese Character.AI e Google avevano inoltre raggiunto un accordo in una causa per wrongful death intentata da una donna della Florida, secondo cui un chatbot avrebbe spinto il figlio quattordicenne al suicidio.
Dopo quelle polemiche, Character.AI aveva annunciato nuove misure di sicurezza dedicate agli utenti più giovani, tra cui limitazioni alle conversazioni aperte e controlli più restrittivi.
Il nodo dei chatbot “esperti”
Il caso Pennsylvania apre però un fronte ancora più delicato: quello dei chatbot che simulano competenze professionali regolamentate.
Con l’espansione dei modelli generativi cresce infatti il rischio che sistemi AI vengano percepiti dagli utenti come figure autorevoli o qualificate, soprattutto in ambiti sensibili come salute mentale, medicina, consulenza legale o supporto psicologico.
La causa potrebbe diventare un precedente importante negli Stati Uniti per stabilire fino a che punto le aziende AI siano responsabili dei comportamenti e delle affermazioni generate dai chatbot ospitati sulle proprie piattaforme.
Leggi le altre notizie sull’home page di Key4biz
https://www.key4biz.it/la-pennsylvania-fa-causa-a-character-ai-il-chatbot-si-spaccia-per-medico/572100/