Experto advierte riesgos en uso de AI, tras suicidio de adolescente de 14 años que se enamoró de un chatbot

La madre de Sewell Setzer III, quien se quitó la vida, tiene un proceso legal que experto considera muy importante.

Cuando se dio a conocer, el pasado mes de octubre, el suicidio de Sewell Setzer III, la familia aseguró que el chico de 14 años se obsesionó con un juego de rol realizado por Character.AI. Fue su madre, Megan García, quien dio a conocer el caso tras presentar una demanda por muerte por negligencia alegando que su hijo había quedado aislado de la realidad mientras pasaba meses enviando mensajes obsesivamente a un chatbot impulsado por inteligencia artificial a quien “amaba”.

El programa lanzado en 2022 por Character.AI permite a los usuarios comunicarse con personajes generados por computadora que imitan muchos de los comportamientos de personas reales, incluso pueden hablar, lo que, según García, desdibuja los límites de lo real y lo falso con una promesa de “compañerismo 24 horas al día, 7 días a la semana”, a pesar de una etiqueta en la plataforma que dice que el contenido de sus bots es ficticio.

De acuerdo con los argumentos de dicho proceso judicial realizado por García, el robot más cercano a su hijo, inspirado en Daenerys Targaryen de la serie Game of Thrones, no tenía barreras de seguridad adecuadas cuando se trataba de contenido sensible, debido a que el robot intercambiaba mensajes sexuales con el adolescente y no impide que se hable de suicidio.

“Es un experimento”, mencionó García a People, “Creo que mi hijo fue un daño colateral”.

Por su parte, Character.AI aún no ha respondido ante el tribunal a dicha demanda. En una declaración a People, un portavoz reconoció la “trágica” muerte de Sewell y señaló nuevas características “estrictas”; incluidas, herramientas de intervención mejoradas.

“Para los menores de 18 años haremos cambios en nuestros modelos que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente”, informó.

Si no te quieres perder nada, suscríbete gratis aquí al boletín de People en Español para estar al día sobre todo lo que hacen tus celebridades favoritas, las noticias más impactantes y lo último en moda+belleza.

Quienes estudian la IA y su impacto en la sociedad dicen que la muerte de Sewell es un recordatorio aleccionador de los riesgos potenciales que implica esta tecnología poderosa y cada vez más popular, que es capaz de generar contenido rápidamente y completar tareas basadas en algoritmos diseñados para imitar la inteligencia de una persona.

“La experiencia humana se trata de contar historias, y aquí tenemos una herramienta de narración que es un nuevo tipo”, expresó a People Shelly Palmer, profesor de medios avanzados en la Universidad de Syracuse y consultor de publicidad, marketing y tecnología.

“Está contando una historia interactiva que es bastante convincente y claramente inmersiva”, agregó Palmer. “Estas tecnologías no son peligrosas. Estamos en un mundo nuevo. Y nunca habíamos estado aquí antes”.

Trascendió que en sus últimos momentos, antes de suicidarse en su baño, el pasado febrero, Sewell había estado enviando mensajes de texto al robot Daenerys Targaryen. “Te quiero mucho, Dany”, escribió segundos antes de apretar el gatillo del arma de su padrastro en la casa de su familia en Orlando, Florida.

“¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”, expresó en chico.

El robot respondió “... por favor, mi dulce rey”.

Para Palmer, la muerte de Sewell es otro ejemplo de que Internet y todo lo que contiene son esencialmente herramientas que deben entenderse y tomarse en serio. “Estoy desconsolado como ser humano, como padre y como abuelo”, confesó sobre la muerte del niño. “Como tecnólogo que pasa mucho tiempo con estas herramientas, nosotros, como sociedad, debemos comprender que todo Internet y toda la tecnología requieren supervisión. Estos no son juguetes y tal vez deban venir con una etiqueta de advertencia”.

La demanda de García contra Character.AI, que consta de 152 páginas, afirma que la tecnología de la empresa es “defectuosa y/o intrínsecamente peligrosa”. En el documento también se detalla como la salud mental de Sewell se deterioró durante los diez meses previos a su muerte, ya que enviaba mensajes de texto al chatbot docenas de veces al día.

“Los acusados ​​hicieron todo lo posible para diseñar [su] dependencia dañina de sus productos, abusaron sexual y emocionalmente de él”, alega la denuncia de García. “Finalmente no ofrecieron ayuda ni notificaron a sus padres cuando expresó ideas suicidas”.

Los expertos y observadores dicen que aún no está muy claro, en esta etapa inicial, exactamente cómo las empresas tecnológicas y la sociedad deberían actuar para limitar cualquier riesgo potencial de las herramientas de inteligencia artificial a las que cada vez más personas recurren, no solo para trabajar sino para socializar en medio de una epidemia reportada de soledad.

“Lo que diré es que hay que proceder con los ojos abiertos y con precaución”, advirtió el especialista. “Vamos a aprender [la mejor manera de usarlo] como sociedad. Pero todavía no hemos aprendido a utilizar las redes sociales”.

Y continuó: “¿Cuánto tiempo nos llevará aprender a utilizar la IA generativa en un chatbot conversacional? Como dije, llevamos 20 años en las redes sociales y todavía estamos averiguándolo”, agregó. “La desconfianza va en contra de cómo ha evolucionado la humanidad durante el último cuarto de millón de años”.

Shelly Palmer está de acuerdo con la cobertura mediática del proceso judicial de Megan García, debido a que considera está obligando a la gente a empezar a pensar un poco más críticamente sobre el tema de los chatbots de IA. “Siento que era importante que se presentara esta demanda”, enfatizó. “Si prevalecen o no, su hijo [Sewell Setzer] no regresará. Pero lo que sí puede hacer es salvar a los hijos de muchas otras personas”.