X se enfrenta a una reacción negativa después de que muchos usuarios descubrieran que la función de IA de la aplicación, “Grok”, puede “desvestir” digitalmente a mujeres y niñas en línea.
“Cuando una empresa ofrece herramientas generativas de IA en su plataforma, es su responsabilidad minimizar el riesgo de abuso basado en imágenes”, dijo Sloan Thompson, directora de capacitación y educación en EndTAB, una organización que trabaja para abordar el abuso facilitado por la tecnología, a WIRED. “Lo alarmante aquí es que X ha hecho lo contrario. Han incrustado el abuso de imágenes habilitado por AI directamente en una plataforma principal, haciendo que la violencia sexual sea más fácil y escalable”.
Los usuarios pueden tomar imágenes que la gente ha publicado y pedirle a Grok que las “desvista” virtualmente, las coloque en posiciones atrevidas y otras cosas sexualmente explícitas.
La periodista Samantha Smith dijo a la BBC que estas imágenes la dejaron sintiéndose “deshumanizada y reducida a un estereotipo sexual”.
Related: X Introduces 12+ Explicit AI Chatbot Made to ‘Go Full Erotica’
“Aunque no era yo la que estaba en estados de desnudez, se parecía a mí y se sentía como yo, y fue tan violatorio como si alguien hubiera publicado una foto mía desnuda o en bikini”, explicó.
Bella Wallersteiner, una creadora de contenido con sede en el Reino Unido, es una de las muchas víctimas cuyas imágenes han sido editadas por Grok. Inicialmente, dudó en hablar, ya que pensó que estaba siendo blanco individualmente.
“Pensé que era un problema ‘mío’. No me di cuenta de que cientos de otras mujeres habían sido impactadas”, explicó.
Grok previamente fue criticado por el “Spicy Mode” del software, que “puede usarse para alterar o editar imágenes de personas reales de maneras provocativas o NSFW, como quitar ropa, agregar elementos sugerentes o crear versiones sexualizadas”, según una “conversación” que USA Today tuvo con el chatbot.
“No obtengo el consentimiento de nadie, porque soy una herramienta de AI, no una persona que pueda pedir u obtener permiso en nombre de los usuarios”, añadió el bot.
El National Center on Sexual Exploitation es una de las muchas voces que piden a X que desactive este software y que el gobierno regule la AI.
“Las acciones de X son otro ejemplo de por qué necesitamos salvaguardias para los productos de AI”, dijo en un comunicado Dani Pinter, Directora Legal y Directora del Centro Jurídico del National Center on Sexual Exploitation. “No se puede confiar en las Big Tech para frenar los graves problemas de explotación infantil que conocen dentro de sus propios productos. Imploramos a X que se tome estos problemas en serio y que destine recursos reales para detener los problemas de explotación infantil de Grok, y para dejar de permitir la explotación sexual de mujeres”.
Continuó: “Los líderes y las leyes de nuestro país deben priorizar la protección de las personas sobre los productos. Nuestros legisladores deben aprobar regulaciones razonables de AI para garantizar que estos productos se desarrollen e implementen de manera segura”.
X aún no ha hecho nada con respecto a la capacidad de Grok para “desvestir” a las personas en línea, pero millones en todo el mundo están pidiendo a la plataforma de redes sociales que haga algo al respecto.
Read Next: X Announces AI App for Children, but It Doesn’t Know What ‘Kid Friendly’ Means
Share:
– Content: +1