Na Escola de Medicina e Odontologia Schulich da Western University, pesquisadores descobriram que o ChatGPT ainda não pode ser utilizado em diagnósticos de doenças em seres humanos. Apesar de estudos anteriores e relatos informais mostrarem que grandes modelos de linguagem, como o ChatGPT, podem gerar resultados impressionantes em tarefas como escrever poemas românticos ou ate mesmos contas de matemática mas apresenta uma grande probabilidade de cometer erros.
Resultados e limitações
Para realizar o estudo os pesquisadores treinaram o ChatGPT 3.5 com dados como histórico do paciente, resultados laboratoriais e exames clínicos, pesquisadores canadenses analisaram o desempenho obtido usando 150 estudos de caso do Medscape, todos com diagnósticos corretos. O objetivo era avaliar a capacidade da ferramenta para diagnosticar doenças humanas com base em sintomas reais.
Mesmo com os resultados, os especialistas recomendam cautela ao utilizar esses modelos para conselhos de saúde, já que o ChatGPT obteve apenas 49% de acerto nos diagnósticos, conforme os resultados publicados no PLOS ONE. A equipe de pesquisa examinou tanto a precisão dos diagnósticos quanto a clareza das justificativas, incluindo a presença de citações, que são essenciais para o diagnóstico médico, e calcularam a média das pontuações de todos os casos.
O chatGPT ainda pode cometer errros e dessa maneira atrasar um diagnostico correto (Foto: reproduçao/Jakub Porzycki/Getty Images Embed)
Embora o ChatGPT tenha obtido uma pontuação baixa no estudo, ele se destacou ao explicar de maneira clara seus diagnósticos, o que pode ser útil para estudantes de medicina, além de ter sido razoavelmente eficaz em descartar doenças. No entanto, a ferramenta ainda não é adequada para realizar diagnósticos clínicos. Em um estudo anterior publicado no JAMA Pediatrics, especialistas do Centro Médico para Crianças Cohen, em Nova York, relataram uma taxa de acerto de apenas 17% em diagnósticos pediátricos, resultando em 83% de erro.
Resultados e perspectivas
Os pesquisadores ressaltam que, embora muitos dos diagnósticos incorretos do ChatGPT estejam associados ao mesmo sistema de órgãos dos diagnósticos corretos, há estudos que apresentam taxas de acerto significativas. Um estudo realizado por cientistas da Universidade de Harvard, por exemplo, obteve 71,7% de precisão em 36 casos clínicos. O ChatGPT também conseguiu diagnosticar corretamente uma doença rara em um menino após 17 médicos falharem, com a mãe fornecendo todos os sintomas e dados das ressonâncias magnéticas da criança.
No caso específico, o ChatGPT identificou rapidamente a síndrome da medula ancorada, uma condição rara que afeta a medula espinhal, levando a uma cirurgia bem-sucedida. Especialistas acreditam que ferramentas como essa têm um grande potencial na medicina, embora ainda não estejam totalmente prontas para uso clínico. De acordo com uma reportagem realizada pelo GLOBO, especialistas entrevistados preveem que, nos próximos 10 anos, tecnologias avançadas serão capazes de analisar exames, históricos clínicos e dados genéticos, oferecendo diagnósticos e tratamentos mais precisos.
Foto destaque: ChatGPT ainda não pode ser utilizado em diagnósticos de doenças em seres humanos (reprodução/Jaap Arriens/Getty Images Embed)
