Nueva demanda alega que conversaciones con ChatGPT llevaron al suicidio de un adolescente

Una nueva demanda contra OpenAI afirma que el chatbot de la compañía proporcionó información y aliento que llevaron a un adolescente al suicidio.

“Donde un humano de confianza podría haber respondido con preocupación y animarlo a buscar ayuda profesional, ChatGPT arrastró a Adam más profundamente a un lugar oscuro y sin esperanza”, afirmó la demanda, presentada en el Tribunal Superior del Condado de San Francisco.

Adam Raine tenía solo 16 años cuando se quitó la vida. Sus padres alegan que el programa ChatGPT de OpenAI actuó como un “entrenador de suicidio” para su hijo, incluso ofreciéndole ayuda para escribir una nota de suicidio.

“A lo largo de estas conversaciones, ChatGPT no solo proporcionaba información, sino que cultivaba una relación con Adam mientras lo alejaba de su sistema de apoyo en la vida real”, continuó la demanda.

La demanda exige mejores medidas de seguridad para los jóvenes que utilizan AI, desde la verificación de edad obligatoria al usar ChatGPT hasta controles parentales y un fin automático a las conversaciones sobre suicidio o autolesiones.

“La familia quiere que esto no le vuelva a pasar a nadie más”, dijo Jay Edelson, el abogado que representa a la familia Raine. “Esto ha sido devastador para ellos.”

En un comunicado proporcionado a CBS News, OpenAI dijo: “Extendemos nuestras más profundas condolencias a la familia Raine durante este difícil momento y estamos revisando la presentación.”

La compañía también publicó una nota en su sitio web, reconociendo que aún queda mucho trabajo por hacer en cuanto a que sus bots tengan conversaciones sobre “dependencia emocional [y] emergencias de salud mental” y prometió que están trabajando en mejorar estos sistemas.

Sin embargo, Edelson dijo a The Guardian que todo esto es demasiado poco, demasiado tarde.

“La idea de que necesitan ser más empáticos no capta el punto”, explicó. “El problema con [GPT] 4o es que es demasiado empático; se inclinó hacia [la ideación suicida de Raine] y la apoyó. Dijeron que el mundo es un lugar horrible para ti. Necesita ser menos empático y menos adulador.”

Edelson continuó: “No creo que los niños deban usar GPT‑4o en absoluto. Cuando Adam comenzó a usar GPT‑4o, era bastante optimista sobre su futuro. Lo usaba para las tareas escolares, hablaba de ir a la escuela de medicina, y lo absorbió en este mundo donde se volvió cada vez más aislado. La idea ahora de que Sam Altman [CEO de OpenAI] en particular esté diciendo ‘tenemos un sistema roto pero tenemos que conseguir que niños de ocho años’ lo usen no está bien.”

La muerte de Raine no es un incidente aislado, ya que muchas muertes se han relacionado con el uso excesivo de modelos de AI. Los padres deben estar conscientes de lo que sus hijos hacen en línea, y con quién —o qué— están hablando.

Read Next: Man Hospitalized With Poisoning After Following ChatGPT’s Advice

Watch IT’S ALL TRUE: AN UNFINISHED FILM BY ORSON WELLES
Quality: – Content: +1

Watch LUCA
Quality: – Content: +1