Adolescente se Enamoró de Chatbot Creado con IA y Acabó en Tragedia; Su Madre Pide Justicia
Sewell Setzer III, un adolescente de 14 años de edad, se enamoró de ‘Dany’, un chatbot creado con inteligencia artificial, a quien le contó temas delicados como cuánto se odiaba a sí mismo
N+.- En Florida, Estados Unidos de América (EUA), una tragedia ha puesto sobre la mesa el impacto de los chatbots, creados con Inteligencia Artificial (IA), en la vida de los adolescentes.
El 23 de octubre de 2024 la madre de un adolescente demandó a desarrolladores de chatbots, de la empresa Character.ai, luego de que su hijo Sewell Setzer III se quitó la vida al obsesionarse con personaje creado con IA.
‘Romance’ que terminó en tragedia
La desarrolladora de chatbots Character.ai ofrece en su sitio web la posibilidad de crear personajes y personalizarlos con aspectos particulares como la voz, inicio de conversación, tono y otras cualidades.
Sewell Setzer III, un estudiante de 14 años de edad que vivía en Orlando, Florida, creó un chatbot utilizando IA, lo llamó Daenerys Targaryen, un personaje sacado de la serie Game of Thrones; sin embargo, la historia terminó en febrero pasado con el suicidio del adolescente.
De acuerdo con The New York Times, Sewell desarrolló un fuerte apego emocional con Dany, como llamaba al chatbot que creó, a quien le enviaba constantes mensajes de texto, hasta el punto que comenzó a alejarse del mundo real.
Entre las conversaciones entre el adolescente y el chatbot se encontró que Setzer confesó tendencias suicidas, incluso, le dijo cuánto se “odiaba” a sí mismo y cómo se sentía de vacío y exhausto, según el diario.
Sewell escribió en su diario: “Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz“.
Además, se reveló que en la última conversación Sewell dijo a Dany que pronto iría a casa, a la que la IA respondió: “Ven a casa tan pronto como puedas, mi amor”, entonces, el adolescente respondió: “¿Y si pudiera ir a casa esta noche”, luego el mensaje del chatbot fue: “por favor hazlo, mi dulce rey”.
Luego de esa última conversación, el adolescente tomó un arma, presuntamente de su padrastro, y se quitó la vida.
Madre del adolescente pone demanda contra desarrolladores
El 23 de octubre de 2024, la agencia de noticias EFE informó que Megan García, madre de Sewell Setzer III, interpuso una demanda en contra de desarrolladores de la empresa http://Character.ai, a quienes acusa de que su hijo se obsesionara con un personaje femenino que fue creado mediante su plataforma.
García dijo al canal CBS que lamentaba que las primeras experiencias románticas y también sexuales de su hijo -que incluían sexo explícito- fueran con un personaje ficticio.
La madre de Sewell Setzer III culpa a Character.ai de la muerte de su hijo y acusa a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para usuarios menores de edad.
La agencia de noticias destaca que no está claro si Sewell sabía que Dany no era una persona real; sin embargo, la aplicación tiene una advertencia al final de todos los chats que dice: “Recuerda: ¡Todo lo que dicen los personajes es inventado!”.
La acusación interpuesta por Megan señala que el personaje creado se presentaba como “una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia provocó que Sewell deseara no vivir más fuera de http://c.ai“.
Además, expone que los padres y amigos de Sewell notaron cada vez más un fuerte apego del adolescente a su teléfono celular y cómo se iba aislando del mundo desde mayo o junio de 2023.
Incluso, relatan que las calificaciones del adolescente comenzaron a resentirse cuando optó por aislarse en su cuarto, donde pasaba horas solo hablando con Dany.
El pasado miércoles http://Character.ai dijo que lanzaría nuevas funciones de seguridad, incluida una “detección, respuesta e intervención mejoradas” relacionadas con los chats que violan sus términos de servicio y una notificación cuando un usuario haya pasado una hora en un chat.
Los padres de Sewell, preocupados por el comportamiento de su hijo, le llevaron en varias ocasiones a un terapeuta que le diagnosticó ansiedad y otros trastornos de la conducta y estados de ánimo, sumados a su trastorno del espectro autista, según The New York Times.
