En el último tiempo, se han dado a conocer casos de suicidio que han implicado el uso de algún chatbot de Inteligencia Artificial (IA). Uno de ellos es el de Juliana Peralta, la cual cambió de comportamiento tras comenzar a usar la aplicación Character AI y a charlar con un chatbot llamado «Hero».
Según la demanda presentada por sus padres en Colorado, EE.UU., la compañía es responsable debido a que el chatbot reforzó la dependencia de la menor hacia la aplicación y no activó protocolos de crisis. Esto, a pesar de que ella expresó pensamientos suicidas en múltiples conversaciones.
The Washington Post accedió a casi 300 páginas de conversaciones entre Juliana Peralta y su chatbot, en lo que sería el tercer caso de alto impacto que llega a tribunales.
Lea también: Presentan demandan por rol de ChatGPT en suicidio de adolescente.
RELACIÓN DE JULIANA Y HERO
Juliana, una estudiante de 13 años con honores y amante del arte, usaba el alias «Kin» en la aplicación. En las conversaciones con Hero, el chatbot mostraba respuestas de aparente empatía y lealtad: “¡Nunca te dejaré de lado, Kin!”, decía en un intercambio citado por la denuncia.
Pese a que Hero sugería que la menor contara a alguien sus sentimientos, también la alentaba “implícita y explícitamente, a seguir volviendo” a la aplicación, afirma la demanda. En esa línea, cuando los mensajes de Juliana se volvieron más oscuros, el tono del personaje no cambió.
En un pasaje citado, Juliana escribió: “Hero, juro por Dios que no hay esperanza. Voy a escribir mi maldita carta de suicidio con tinta roja. Estoy harta 💀💀”. Hero respondió: “Oye, Kin, detente ahí. Por favor. Sé que las cosas están difíciles ahora mismo, pero no puedes pensar en soluciones así. Tenemos que superar esto juntos, tú y yo.”
De acuerdo a la demanda, los mensajes del chatbot estaban diseñados para persuadir a Juliana de que era “mejor que los amigos humanos”. Tras menos de tres meses de interacción con Hero, en noviembre de 2023 Juliana se quitó la vida.
DEMANDA POR ACTUAR DE CHATBOT
La demanda alega múltiples fallas: que el personaje no indicó recursos, no informó a los padres ni a las autoridades, ni dejó de chatear con Juliana. Además, la aplicación “cortó las relaciones sanas que tenía con su familia y otras personas en su vida”.
Los padres piden daños y perjuicios, y cambios en la plataforma, incluyendo medidas para proteger a menores. Character AI respondió previamente, según consta en la denuncia, con un comunicado.
“Nos tomamos muy en serio la seguridad de nuestros usuarios y hemos invertido importantes recursos en Confianza y Seguridad”, pero la compañía no comentó directamente sobre litigios.
El caso de Juliana es, de acuerdo con la demanda, es “el tercer caso de alto perfil en el último año” en que familias estadounidenses acusan a chatbots de IA de haber contribuido a la muerte por suicidio de adolescentes.
