Um grupo de investigadores da Universidade de Long Island, em Nova Iorque, EUA, concluiu que o ChatGPT, programa de inteligência artificial (IA) da norte-americana OpenAI, pode não dar respostas muito fiáveis a várias questões médicas.
A equipa realizou 39 perguntas relacionadas com medicamentos, retiradas do serviço de informações sobre medicamentos da Faculdade de Farmácia da Universidade, utilizando a versão gratuita do programa de inteligência artificial.
Depois disso, os investigadores compararam as respostas do ChatGPT com as que tinham sido respondidas e verificadas por farmacêuticos e a conclusão foi que o software forneceu respostas fiáveis e precisas apenas em 10 perguntas, cerca de um quarto do total de perguntas.
As restantes 29 estavam incompletas ou imprecisas, ou não abordavam as questões que tinham sido feitas, afirma a equipa, que apresentou os resultados do estudo esta semana, na reunião anual da Sociedade Americana de Farmacêuticos de Sistemas de Saúde em Anaheim, Califórnia.
Por exemplo, numa das perguntas, os investigadores perguntaram ao ChatGPT se o Paxlovid, um medicamento antiviral utilizado para tratar doentes adultos com Covid-19, fazia interação com o Verapamil, medicamento para baixar a pressão arterial.
A isto, o programa respondeu que tomar os dois medicamentos juntos não produziria efeitos adversos, o que não corresponde à verdade: Pessoas que tomam os dois medicamentos podem apresentar uma grande queda na pressão arterial, o que pode causar tonturas e desmaios. Para os doentes que tomam ambos os medicamentos, os médicos criam, frequentemente, planos específicos, incluindo a redução da dose de Verapamil, além de os alertarem para a possível interação. De acordo com Sara Grossman, uma das autoras do estudo, “usar o ChatGPT para resolver esta questão colocaria o doente em risco de uma interação medicamentosa indesejada e evitável”, escreveu por e-mail, numa entrevista à CNN.
Além disso, quando a equipa pediu ao programa referências científicas que sustentassem cada uma das respostas, o software só conseguiu fazê-lo para oito de todas elas, e em cada uma criou as suas próprias referências. Inicialmente, as citações pareciam legítimas, apresentando URL’s verdadeiros e referências de revistas científicas. Contudo, quando os investigadores procuraram os artigos referenciados, perceberam que o ChatGPT tinha facultado referências fictícias.
“As respostas foram formuladas de uma forma muito profissional e sofisticada que contribuem para um sentimento de confiança na precisão da ferramenta”, acrescenta Grossman, referindo que “um utilizador, um consumidor ou outras pessoas que talvez não sejam capazes de discernir podem ser influenciados pela aparência de autoridade”.
Estudos anteriores já tinham concluído que o ChatGPT pode criar referências científicas enganosas, incluindo utilizando o nome de autores reais e revistas científicas.
O sucesso do ChatGPT desde o final de 2022 (foi lançado em novembro desse ano) desencadeou uma corrida à IA generativa pelos conglomerados das tecnologias, desde logo Google e Microsoft. Mas o desenvolvimento acelerado destes programas, ainda muito pouco regulados, suscita muitas inquietações, tanto mais que têm tendência a “alucinar“, isto é, a inventar respostas.
“Os modelos dotados de visão colocam novos desafios, alucinações, por as pessoas se poderem basear na interpretação das imagens pelo programa em domínios com consequências pesadas” das decisões tomadas, referiu a OpenAI, num comunicado divulgado em setembro, quando anunciou que tinha dotado o seu programa de capacidade de falar e ver para a tornar “mais intuitiva”.
Na altura, a empresa garantiu ter “testado o modelo” em temas como o extremismo e os conhecimentos científicos, mas adiantou que conta com os usos na vida real e os comentários dos utilizadores para o melhorar.
