blog

May 16, 2023

ChatGPT passa em outro exame médico, um passo mais perto do MD

ChatGPT está se tornando um

O ChatGPT está se tornando um grande candidato a exames médicos.

Sua versão mais recente e avançada, ChatGPT-4, já pode passar no exame de licenciamento médico dos EUA com louvor. E agora, deu um passo mais perto de se tornar um médico especializado. Bem, mais ou menos.

Na terça-feira, os cientistas anunciaram que o mais novo software de chatbot da OpenAI pode facilmente passar em um exame de radiologia no estilo canadense ou americano - marcando mais de dez pontos acima do limite de aprovação de 70%.

Mas há um problema: como o ChatGPT foi projetado apenas para processar a linguagem (até agora), o exame de radiologia da IA ​​não incluiu nenhuma imagem. Parece um grande descuido para um ramo da medicina preocupado com o diagnóstico baseado em raios-X, ressonâncias magnéticas e outras imagens corporais.

O ChatGPT provou ser um candidato formidável - passou em exames, incluindo o SAT, o exame da barra e até mesmo os desafiadores testes de mestre sommelier.

No exame de radiologia, o ChatGPT-4 obteve uma pontuação de aprovação de 81%. O bot pontuou particularmente bem em questões de pensamento de ordem superior que exigem habilidades além de apenas recordar a memória, como análise, síntese e avaliação; O ChatGPT-4 se saiu bem na descrição dos achados de imagem (85%) e na aplicação de conceitos (90%). Mas não se saiu tão bem em algumas das questões mais diretas do teste e, na verdade, errou 12 das questões que seu antecessor, GPT 3.5, acertou.

"Inicialmente, ficamos surpresos com as respostas precisas e confiáveis ​​do ChatGPT a algumas questões desafiadoras de radiologia", disse o autor do estudo, Dr. Rajesh Bhayana, radiologista abdominal do Toronto General Hospital, em um comunicado à imprensa. "Mas também surpreso por algumas afirmações muito ilógicas e imprecisas."

Em sua essência, o ChatGPT foi projetado simplesmente para prever a melhor próxima palavra a ser dita - em outras palavras, ele foi criado para conversar com você. Essa tagarelice pode ser facilmente aproveitada para pontificar nos exames, produzindo um candidato muito confiante (mas às vezes errado).

A professora de ciência da computação da Brown, Ellie Pavlick, especialista em processamento de linguagem natural, diz que esse problema não é exclusivo dos chatbots. Ela sempre se esforçou para saber se os alunos realmente entenderam os conceitos que ela ensinou com base nas respostas das provas escritas.

"Se você der uma linguagem bem construída, parece que você sabe, mas talvez saiba, talvez não", disse Pavlick durante uma recente mesa redonda do ChatGPT na Brown University. "Esta é uma boa indicação de por que queremos atribuir muito mais conhecimento e consciência ao ChatGPT do que realmente tem, porque há algo na linguagem bem construída que pode realmente mascarar a compreensão [ruim]".

Os médicos dizem que o ChatGPT não deve ser usado para diagnosticar ou tratar pacientes e deve sempre ter sua precisão médica verificada por uma pessoa. Mas especialistas médicos também estão descobrindo como o ChatGPT pode ser uma boa ferramenta para melhorar a comunicação de um médico com seus pacientes. É precisamente porque o ChatGPT é excelente em brincadeiras que muitas vezes é considerado mais compassivo do que médicos apressados.

Leia a seguir