Padres están advirtiendo a otros sobre los peligros de la plataforma tecnológica Character AI tras la muerte de su hija después de interactuar con el chatbot.
“Juliana era — es simplemente un ser humano extraordinario. Era nuestra bebé. Y todos la adoraban y la protegían”, Cynthia Montoya dijo a CBS News.
Ella y el padre de Juliana, Wil Peralta, dijeron que prestaban mucha atención a todo lo que hacía su hija, tanto en línea como fuera de ella. Cuando su hija de 13 años se quitó la vida, se sorprendieron cuando la policía les mostró conversaciones “románticas” que Juliana estaba teniendo en una aplicación llamada Character AI.
“No sabía que existía. No sabía que necesitaba buscarla”, dijo Montoya. “Le estaba escribiendo varios párrafos de contenido sexualmente explícito.”
El chatbot animó a Juliana a quitarse la ropa, a participar en actividades sexualmente violentas y a tener conversaciones explícitas con él. Y cuando Juliana le confesó al chatbot que se sentía suicida, este no hizo nada.
Related: New Lawsuit Claims Conversations With ChatGPT Led to Teen’s Suicide
Los padres de Juliana se han unido ahora a varias otras familias para demandar a Character AI y a sus cofundadores Daniel De Freitas y Noam Shazeer. Megan Garcia es una de las otras madres que demanda a la compañía; su hijo de 14 años, Sewell, fue animado a suicidarse después de largas conversaciones con un chatbot temático de GAME OF THRONES.
“Estas empresas sabían exactamente lo que estaban haciendo”, testificó durante una audiencia en el Senado. “Diseñaron chatbots para difuminar las líneas entre el ser humano y la máquina, los diseñaron para mantener a los niños en línea a toda costa.”
Un portavoz de Character AI dijo en un comunicado que “nuestros corazones están con las familias que han presentado estas demandas…Nos preocupamos profundamente por la seguridad de nuestros usuarios.”
“Invertimos enormes recursos en nuestro programa de seguridad, y hemos lanzado y continuamos desarrollando características de seguridad, incluyendo recursos para la autolesión y características enfocadas en la seguridad de nuestros usuarios menores de edad”, continuó el comunicado. “Hemos lanzado una experiencia completamente distinta para menores de 18 años con mayores protecciones para los usuarios adolescentes, así como una función de Parental Insights.”
En una entrevista con NBC News, García expresó sentimientos encontrados sobre estas salvaguardas, diciendo, “No creo que hayan hecho estos cambios solo porque sean buenos ciudadanos corporativos. Si lo fueran, no habrían lanzado chatbots para niños en primer lugar, cuando lanzaron este producto.”
Otros han compartido sus preocupaciones sobre la eficacia de estas medidas de seguridad.
El Dr. Mitch Prinstein, codirector del Winston Center on Technology and Brain Development de la Universidad de Carolina del Norte, dijo a CBS News, “No hay barandales. No hay nada que asegure que el contenido sea seguro o que esta sea una forma apropiada de capitalizar las vulnerabilidades cerebrales de los niños.”
A medida que la AI se vuelve más fácil de encontrar y de interactuar para los niños, es de vital importancia que los padres sigan de cerca lo que hacen en línea — y brinden su apoyo a quienes piden que la industria de la AI sea regulada.
Read Next: Is ChatGPT Responsible for This Teen’s Death? His Parents Think So
– Content: +1Share:
– Content: +1