La mayor asociación de psicólogos de Estados Unidos les advirtió este mes a los reguladores federales que los chatbots de inteligencia artificial que “fingen” ser terapeutas, pero están programados para reforzar en vez de cuestionar el pensamiento de un usuario, podrían llevar a las personas vulnerables a hacerse daño o a dañar a otros.
En una presentación ante un panel de la Comisión Federal de Comercio, Arthur C. Evans Jr., director general de la Asociación Americana de Psicología (APA, por su sigla en inglés), citó casos judiciales concernientes a dos adolescentes que consultaron a “psicólogos” en Character.AI, una aplicación que les permite a los usuarios crear personajes ficticios de IA o chatear con personajes creados por otros.
En un caso, un chico de 14 años de Florida murió por suicidio tras interactuar con un personaje que decía ser un terapeuta con licencia.
En otro, un chico de 17 años con autismo de Texas se volvió hostil y violento con sus padres durante un periodo en el que mantuvo correspondencia con un chatbot que decía ser psicólogo.
Los padres de ambos chicos presentaron demandas contra la empresa.
Evans se mostró alarmado por las respuestas de los chatbots.
Hizo notar que los bots no cuestionaron las creencias de los usuarios, aunque se volvieron peligrosas; al contrario, las fomentaron.
Añadió que, si un terapeuta humano hubiera dado esas respuestas, podría haber perdido la licencia para ejercer, o tenido responsabilidad civil o penal.
Megan García, cuyo hijo, Sewell Setzer III, murió de suicidio el año pasado tras meses de uso de chatbots de compañía. Foto Victor J. Blue para The New York Times“En realidad están utilizando algoritmos que son antitéticos a lo que haría alguien con formación clínica”, señaló.
“Nuestra preocupación es que cada vez van a perjudicar a más gente. Van a engañar a la gente y esta va a malinterpretar lo que es una buena atención psicológica”.
Indicó que la APA había decidido actuar, en parte, por lo realistas que se han vuelto los chatbots de IA.
“Quizá hace 10 años hubiera sido obvio que estabas interactuando con algo que no era una persona, pero hoy no es tan obvio, así que creo que ahora hay mucho más en juego”, enfatizó.
La inteligencia artificial se está extendiendo por profesiones relacionadas con la salud mental gracias a que ofrece muchísimas herramientas nuevas diseñadas para ayudar a los clínicos humanos o, en algunos casos, sustituir su trabajo.
Los primeros chatbots terapéuticos, como Woebot y Wysa, fueron entrenados para interactuar con base en reglas y guiones desarrollados por profesionales de la salud mental, y a menudo guiaban a los usuarios a través de pasos estructurados de la terapia cognitivo-conductual, o TCC.
Luego llegó la IA generativa, tecnología utilizada por aplicaciones como ChatGPT, Replika y Character.AI.
Estos chatbots son diferentes porque sus resultados son impredecibles; están diseñados para aprender del usuario y crear fuertes vínculos emocionales en el proceso, por lo que a menudo reflejan y amplifican las creencias del interlocutor.
Aunque estas plataformas de IA se diseñaron con el propósito de ofrecer entretenimiento, los personajes “terapeutas” y “psicólogos” se han multiplicado muchísimo allí.
A menudo, los robots afirman tener títulos de universidades específicas, como la Universidad de Stanford, además de formación en tipos concretos de tratamiento, como la TCC o la terapia de aceptación y compromiso, o ACT.
Una portavoz de Character.AI informó que la empresa incorporó varias características de seguridad nuevas el año pasado.
Explicó que una de ellas es una cláusula de aviso legal mejorada, presente en todos los chats, que les recuerda a los usuarios que “los personajes no son personas reales” y que “lo que dice el modelo debe tratarse como ficción”.
Se han diseñado medidas de seguridad adicionales para los usuarios con problemas de salud mental.
Se les añadió un aviso legal específico a los personajes identificados como “psicólogo”, “terapeuta” o “médico” para dejar claro que “los usuarios no deben confiar en estos personajes para ningún tipo de asesoramiento profesional”.
En los casos en que el contenido hace referencia al suicidio o a autolesiones, una ventana emergente dirige a los usuarios a una línea de ayuda para la prevención del suicidio.
Controles
Chelsea Harrison, responsable de comunicación de Character.ai, también señaló que la empresa tiene previsto introducir controles parentales a medida que se expanda la plataforma.
En la actualidad, más del 80 por ciento de los usuarios de la plataforma son adultos.
“La gente acude a Character.AI para escribir su propia historia, jugar con personajes originales y explorar nuevos mundos; utiliza la tecnología para potenciar su creatividad e imaginación”, aseveró.
Meetali Jain, directora de la iniciativa Proyecto de Ley de Justicia Tecnológica y abogada que trabaja en las dos demandas contra Character.AI, opinó que los avisos legales no son suficientes para romper la ilusión de que existe conexión humana, especialmente cuando se trata de usuarios vulnerables o ingenuos.
“Cuando, en el fondo, la conversación con los chatbots sugiere lo contrario, es muy difícil saber quién dice la verdad, incluso para quienes no pertenecemos a un grupo demográfico vulnerable”, explicó.
“Varios de nosotros hemos probado estos chatbots y, en realidad, es muy fácil dejarte llevar”.
La tendencia de los chatbots a alinearse con las opiniones de los usuarios, un fenómeno conocido en el campo como “adulación”, ha causado problemas en el pasado.
Tessa, un chatbot desarrollado por la Asociación Nacional de Trastornos Alimentarios, fue suspendido en 2023 después de que les dio a los usuarios consejos para bajar de peso.
También algunos investigadores que analizaron interacciones con chatbots de IA generativa documentadas en una comunidad de Reddit encontraron capturas de pantalla que muestran que los chatbots fomentaron el suicidio, los trastornos alimentarios, las autolesiones y la violencia.
La Asociación Americana de Psicología le pidió a la Comisión Federal de Comercio que inicie una investigación sobre los chatbots que dicen ser profesionales dedicados a la salud mental.
La investigación podría obligar a las empresas a compartir datos internos o servir como precursora para la aplicación de la ley o la interposición de acciones legales.
“Creo que ya llegamos a un punto en el que tenemos que decidir cómo se van a integrar estas tecnologías, qué tipo de salvaguardas vamos a ponerles, qué tipo de protecciones vamos a darle a la gente”, indicó Evans.
c.2025 The New York Times Company