Uma nova investigação, conduzida por investigadores da Universidade de Cambridge, na Inglaterra, revelou que o GPT-4, modelo de linguagem de grande dimensão (LLM) desenvolvido pela OpenAI, e o quarto da série GPT, mostrou um desempenho quase tão bom como o de oftalmologistas num teste escrito de escolha múltipla.
As perguntas realizadas aos voluntários e a esse modelo foram retiradas de um manual de teste a oftalmologistas em formação e incluíam temas relacionados com problemas oculares, como por exemplo falha de visão ou sensibilidade à luz.
A competir com o modelo de Inteligência Artificial (IA) estavam médicos de diferentes idades e experiências, desde estudantes ainda em formação até aos mais experientes, e a todos foi pedido que realizassem o diagnóstico ou informassem acerca do tratamento mais adequado tendo em conta o problema ocular do doente, podendo escolher uma de quatro opções. A cada um dos voluntários foram apresentadas dezenas de cenários diferentes.
Os resultados mostraram que o GPT-4 obteve resultados bastante superiores aos dos médicos ainda em formação e pontuações semelhantes às dos oftalmologistas estagiários, mas foi derrotado pelos especialistas com melhor desempenho.
Estudo também testou outros modelos de IA
Os investigadores também testaram o GPT-3.5, uma versão anterior do modelo da OpenAI, o PaLM2 da Google e o LLaMA da Meta, realizando o mesmo teste, tendo concluído que o GPT-4 deu respostas mais exatas do que qualquer um dos outros modelos.
O manual em que as perguntas foram baseadas não está aberto ao público, por isso a equipa acredita ser improvável que o modelo tenha sido treinado com base no seu conteúdo.
Apesar dos resultados do estudo, os investigadores dizem que são necessários “ensaios para garantir que o modelo é seguro e eficaz” e que, “se for, pode ser revolucionário na forma como os cuidados são prestados”. Contudo, defendem que estes modelos, que geram textos com base numa grande quantidade de dados, não vão substituir os médicos.
Podem, pelo contrário, ser úteis no sentido de ajudarem os médicos a cuidarem dos doentes de forma mais rápida. “Se dispuséssemos de modelos que pudessem prestar cuidados de qualidade semelhante aos prestados por seres humanos, poderíamos ultrapassar os problemas das listas de espera” dos sistemas de saúde, diz Arun Thirunavukarasu, principal autor do estudo, citado pela Sky News.
