Si bien todavía muchos lo ignoran o desestiman sus servicios, para otros tantos ChatGPT se convirtió en un asistente virtual de uso cotidiano al que pueden hacerle preguntas de los más diversos tópicos y hasta encomendarle algunas tareas. Una especie de amigo-empleado solícito que responde rápido. ¿Pero lo hace bien?
Eso es lo que se preguntaron cuatro gastroenterólogos argentinos que intentaron determinar cuán confiable es esta aplicación de inteligencia artificial generativa para orientar medidas preventivas y de abordaje del cáncer de colon.
“Prevención del cáncer colorrectal: ¿Está listo el ChatGPT para ayudar a los médicos a determinar las recomendaciones adecuadas de detección y vigilancia?” es el título del artículo publicado en Journal of Clinical Gastroenterology.
“La gente y los médicos están usando ChatGPT para buscar información y asistirse en la consulta médica, por lo que nos propusimos tratar de ver qué tan válido es el conocimiento que suministra a un profesional para orientarlo en la toma de una conducta con sus pacientes, en el marco de la prevención de cáncer de colon, sobre lo que tenemos mucha experiencia e información validada”, comentó a Clarín el médico gastroenterólogo del Hospital Alemán Lisandro Pereyra, uno de sus autores.
Junto a sus colegas Francisco Schlottman (Hospital Alemán), Leandro Steinberg (Fundación Favaloro) y Juan Lasa (CEMIC), plantearon que las dificultades de los profesionales para recordar con precisión las recomendaciones incluidas en las guías podría afectar el cumplimento de las pautas de detección del cancer colorrectal (CCR) y que “la adopción de tecnologías más nuevas puede ayudar a mejorar los servicios de atención preventiva”.
Pero, ¿es el ChatGPT una alternativa confiable?
Médicos vs. ChatGPT
Para responder a ese interrogante, los autores elaboraron 10 preguntas de opción múltiple y se las plantearon al chatbot en 4 sesiones separadas. Se examinó la precisión de las respuestas registradas para determinar la confiabilidad de la herramienta.
Luego, se comparó el número de respuestas correctas con las brindadas por un grupo de control conformado por gastroenterólogos y cirujanos colorrectales que respondieron las mismas preguntas con y sin la ayuda de CaPtYVa, una aplicación inteligente diseñada en colaboración con el Instituto Nacional del Cáncer, que asiste en el proceso de prevención, diagnóstico y seguimiento del cáncer de colon.
“Creamos 10 escenarios de la vida real de prevención: cinco que apuntan a identificar el riesgo de una persona de tener cáncer colon y a qué edad le corresponde empezar con los controles (según antecedentes familiares, síntomas, etcétera) y otros cinco simulando casos de pacientes que ya se están haciendo estudios de prevención (como colonoscopia, o resultados de una biopsia) y cuándo deberían repetirlos”, explicó Pereyra.
Esas mismas 10 preguntas fueron cargadas en cuatro sesiones de ChatGPT diferentes, “para detectar si respondía siempre igual”.
Un total de 238 médicos también contestaron la evaluación que les fue enviada por mail. “A 123 se les pidió que traten de responder con su conocimiento o como lo hacen en su práctica habitual y a 115 se les invitó a a responder los mismos 10 escenarios, pero pudiendo asistirse con CaPtYVa”, profundizó Pereyra, quien es miembro de Endoscopistas Digestivos de Buenos Aires (ENDIBA) y ex capacitador del Programa Nacional de Prevención y Detección del Cáncer Colorrectal (PNCCR), en el área de calidad en colonoscopia.
Resultados
Tras analizar las respuestas, los autores observaron que ChatGPT fue el que peor desempeño tuvo: respondió menos de la mitad de las preguntas en forma correcta, lo que le valió una puntuación de 4.5.
“ChatGPT mostró inconsistencia y dio una respuesta diferente en 4 preguntas entre las diferentes sesiones”, apuntaron los autores y señalaron que el número medio de respuestas correctas totales fue “significativamente menor” que el obtenido por los médicos sin (5.62) y con la aplicación móvil .
Los profesionales que se asistieron con CaPtYVa (Calculadora de Pesquisa y Vigilancia de Cáncer Colorrectal), obtuvieron la mejor puntuación (7.71).
CaPtYVa es un calculador que contiene toda la información de las guías del INC y que, a través de algoritmos, asiste a los profesionales de la salud en dos etapas: la de pesquisa (si el paciente nunca fue sometido a un test de tamizaje para CCR) y la de vigilancia (si ya se hizo una prueba y desea saber cuándo debe ser el próximo control).
“Este es el primer estudio que evalúa la precisión de chatGPT para asistir a los médicos en la prevención de cáncer de colon”, destacó Pereyra.
“Lo interesante es que Chat GPT no está preparado y que los médicos incluso sin tecnologías son mejores que ChatGPT, aunque falta mucho. El grupo asistido con una aplicación que contiene información validada fue el que mejor performance tuvo, pero también se puede mejorar, seguramente entrenándolos en la herramienta”, resaltó.
Y concluyó junto a sus colegas que “los grandes modelos de lenguaje desarrollados con inteligencia artificial requieren mayores refinamientos para que sirvan como asistentes confiables en la práctica clínica”.
Chequeá tu colon
Pereyra junto a su colega Leandro Steinberg son los creadores -junto a otros profesionales argentinos- de CaPtYVa y desarrollaron también la herramienta inteligente Chequeátucolon, de acceso libre y gratuito que, a través de dos calculadoras, informa a los usuarios en general (no es necesario ser profesional de la salud) cuándo comenzar los controles y sobre medidas que ayudan a prevenir el CCR.
➪¿Tenés alguna duda sobre salud y bienestar que te gustaría que abordemos en notas de la sección? Entrá al Centro de Ayuda de Clarín haciendo click acá, ingresá a Mensaje a la redacción y luego a Preguntas a Buena Vida. Escribinos tu consulta y enviá. ¡Listo! Y si querés recibir cada 15 días en tu casilla nuestro newsletter, suscribite acá.