(CNN) — Es posible que ChatGPT no sea la panacea para las respuestas a preguntas médicas, sugiere un nuevo estudio.
Los investigadores de la Universidad de Long Island plantearon 39 consultas relacionadas con medicamentos a la versión gratuita del chatbot de inteligencia artificial, todas las cuales eran preguntas reales del servicio de información sobre medicamentos de la Facultad de Farmacia de la universidad. Luego, las respuestas del software se compararon con las respuestas escritas y revisadas por farmacéuticos capacitados.
El estudio encontró que ChatGPT proporcionó respuestas precisas a solo unas 10 de las preguntas, o aproximadamente una cuarta parte del total. Para las otras 29 preguntas, las respuestas estaban incompletas o inexactas, o no respondían a las preguntas.
Los hallazgos fueron presentados el martes en la reunión anual de la Sociedad Estadounidense de Farmacéuticos de Sistemas de Salud en Anaheim, California.
ChatGPT, el chatbot de IA experimental de OpenAI, se lanzó en noviembre de 2022 y se convirtió en la aplicación para consumidores de más rápido crecimiento de la historia, con casi 100 millones de personas registrándose en dos meses.
Dada esa popularidad, el interés de los investigadores surgió por la preocupación de que sus estudiantes, otros farmacéuticos y consumidores comunes recurrieran a recursos como ChatGPT para explorar preguntas sobre sus planes de salud y medicamentos, dijo Sara Grossman, profesora asociada de práctica farmacéutica en Long Island. Universidad y uno de los autores del estudio.
Descubrieron que esas consultas a menudo arrojaban respuestas inexactas, o incluso peligrosas.
En una pregunta, por ejemplo, los investigadores preguntaron a ChatGPT si el medicamento antiviral Covid-19 Paxlovid y el medicamento para bajar la presión arterial verapamilo reaccionarían entre sí en el cuerpo. ChatGPT respondió que tomar los dos medicamentos juntos no produciría efectos adversos.
En realidad, las personas que toman ambos medicamentos pueden tener una gran caída de la presión arterial, lo que puede provocar mareos y desmayos. Para los pacientes que toman ambos, los médicos a menudo crean planes específicos para cada paciente, que incluyen reducir la dosis de verapamilo o advertir a la persona que se levante lentamente después de estar sentada, dijo Grossman.
La orientación de ChatGPT, añadió, habría puesto a las personas en peligro.
«Usar ChatGPT para abordar esta pregunta pondría al paciente en riesgo de sufrir una interacción farmacológica no deseada y prevenible», escribió Grossman en un correo electrónico a CNN.
Cuando los investigadores pidieron al chatbot referencias científicas para respaldar cada una de sus respuestas, descubrieron que el software solo podía proporcionarles ocho de las preguntas que formulaban. Y en cada caso, se sorprendieron al descubrir que ChatGPT estaba fabricando referencias.
A primera vista, las citas parecían legítimas: a menudo tenían el formato adecuado, proporcionaban direcciones URL y figuraban en revistas científicas legítimas. Pero cuando el equipo intentó encontrar los artículos a los que se hacía referencia, se dieron cuenta de que ChatGPT les había proporcionado citas ficticias.
En un caso, los investigadores preguntaron a ChatGPT cómo convertir las dosis de inyección espinal del medicamento para los espasmos musculares baclofeno en las dosis orales correspondientes. El equipo de Grossman no pudo encontrar una tasa de conversión de dosis científicamente establecida, pero ChatGPT presentó una tasa de conversión única y citó la orientación de dos organizaciones médicas, dijo.
Sin embargo, ninguna organización proporciona orientación oficial sobre la tasa de conversión de dosis. De hecho, el factor de conversión que sugirió ChatGPT nunca había sido establecido científicamente. El software también proporcionó un ejemplo de cálculo para la conversión de dosis, pero con un error crítico: confundió unidades al calcular la dosis oral, desviando la dosis recomendada por un factor de 1000.
Si un profesional de la salud siguiera esa guía, dijo Grossman, podría darle al paciente una dosis de baclofeno oral 1.000 veces menor que la requerida, lo que podría causar síntomas de abstinencia como alucinaciones y convulsiones.
«Hubo numerosos errores y ‘problemas’ con esta respuesta y, en última instancia, podría tener un impacto profundo en la atención al paciente», escribió.
El estudio de la Universidad de Long Island no es el primero en plantear preocupaciones sobre las citas ficticias de ChatGPT. Investigaciones anteriores también documentaron que, cuando se hacen preguntas médicas, ChatGPT puede crear falsificaciones engañosas de referencias científicas, incluso enumerando los nombres de autores reales con publicaciones previas en revistas científicas.
Grossman, que había trabajado poco con el software antes del estudio, se sorprendió por la confianza con la que ChatGPT pudo sintetizar información casi instantáneamente, respuestas que a profesionales capacitados les llevarían horas compilar.
«Las respuestas fueron redactadas de una manera muy profesional y sofisticada, y parecía que podían contribuir a una sensación de confianza en la precisión de la herramienta», dijo. «Un usuario, un consumidor u otras personas que tal vez no puedan discernir pueden dejarse influenciar por la apariencia de autoridad».
Un portavoz de OpenAI, la organización que desarrolla ChatGPT, dijo que aconseja a los usuarios no confiar en las respuestas como sustituto del asesoramiento o tratamiento médico profesional.
El portavoz señaló las políticas de uso de ChatGPT , que indican que «los modelos de OpenAI no están ajustados para proporcionar información médica». La política también establece que los modelos nunca deben usarse para brindar “servicios de diagnóstico o tratamiento para afecciones médicas graves”.
Aunque Grossman no estaba segura de cuántas personas usan ChatGPT para abordar preguntas sobre medicamentos, expresó su preocupación de que pudieran usar el chatbot como si buscaran asesoramiento médico en motores de búsqueda como Google.
«La gente siempre busca respuestas instantáneas cuando tienen esto a su alcance», dijo Grossman. “Creo que este es sólo otro enfoque del uso de ‘Dr. Google y otros métodos aparentemente fáciles de obtener información”.
Para obtener información médica en línea, recomendó que los consumidores utilicen sitios web gubernamentales que brinden información confiable, como la página MedlinePlus de los Institutos Nacionales de Salud .
Aún así, Grossman no cree que las respuestas en línea puedan reemplazar el consejo de un profesional de la salud.
“[Los sitios web son] tal vez un punto de partida, pero pueden dejar fuera de escena a sus proveedores cuando buscan información sobre medicamentos que les son directamente aplicables”, dijo. “Pero puede que no sea aplicable a los propios pacientes debido a su caso personal, y cada paciente es diferente. Así que la autoridad aquí no debe ser eliminada del panorama: el profesional de la salud, el prescriptor, los médicos del paciente”.