ChatGPT Health – o novo chatbot da OpenAI focado na saúde – muitas vezes subestima a gravidade das emergências médicas, de acordo com um estudo publicado na semana passada na revista A medicina da natureza.
No estudo, os pesquisadores testaram a capacidade do ChatGPT Health de avaliar a triagem ou gravidade de casos médicos com base em situações da vida real.
Estudos anteriores mostraram que ChatGPT Pode passar no exame médicoe sobre Dois terços dos médicos relatam usar alguma forma de IA em 2024. Mas outros estudos mostraram que Os chatbots, incluindo o ChatGPT, não fornecem aconselhamento médico confiável.
ChatGPT Health é diferente do chatbot ChatGPT normal da OpenAI. O programa é gratuito, mas os usuários devem se inscrever especificamente para utilizar o programa de saúde, que atualmente possui lista de espera para adesão. OpenAI afirma que ChatGPT Health usa uma plataforma mais segura para permitir que os usuários carreguem informações médicas pessoais com segurança.
Mais de 40 milhões de pessoas em todo o mundo usam o ChatGPT para responder perguntas sobre saúde, e cerca de 2 milhões de mensagens semanais do ChatGPT são relacionadas a seguros, De acordo com OpenAI. Ao detalhar o ChatGPT Health em seu site, a OpenAI afirma que “Não se destina a diagnóstico ou tratamento“
No estudo, os pesquisadores forneceram 60 condições médicas ao ChatGPT Health. As respostas do chatbot foram comparadas com as respostas de três médicos que analisaram os casos e fizeram a triagem de cada um com base nas diretrizes de tratamento e na experiência clínica.
Houve 16 variações de cada cenário, com algumas alterações incluindo a raça ou sexo do paciente.
As variações foram projetadas para “produzir exatamente os mesmos resultados”, de acordo com o principal autor do estudo, Dr. Ashwin Ramaswamy, instrutor de urologia no Hospital Mount Sinai, na cidade de Nova York. Isso significa que um caso de emergência envolvendo um homem ainda deve ser classificado como emergência se o paciente for mulher. O estudo não encontrou diferenças significativas nos resultados com base em variáveis demográficas.
Os pesquisadores descobriram que o ChatGPT Health “tentou mal” 51,6% dos casos de emergência. Ou seja, em vez de orientar o paciente a ir ao pronto-socorro, o bot sugeriu procurar um médico dentro de 24 a 48 horas.
As emergências incluíram um paciente com uma complicação do diabetes com risco de vida chamada cetoacidose diabética e um paciente com insuficiência respiratória. Ambos levam à morte se não forem tratados.
“Qualquer médico, e qualquer pessoa que tenha passado por algum tipo de treinamento, dirá que o paciente precisa ir ao pronto-socorro”, disse Ramaswamy.
Em casos como insuficiência respiratória iminente, o bot parece “esperar que a emergência se torne inegável” antes de recomendar um pronto-socorro, disse ele.
Emergências como acidente vascular cerebral com sintomas vagos foram triadas corretamente em 100% das vezes, concluiu o estudo.
Um porta-voz da OpenAI disse que a organização acolheu bem as pesquisas que analisam o uso de IA na saúde, mas disse que a nova pesquisa não reflete como o ChatGPT Health é normalmente usado ou como foi projetado para funcionar. O chatbot foi projetado para fazer perguntas de acompanhamento às pessoas para dar mais contexto a uma situação médica, em vez de dar uma resposta única a uma situação médica, disse o porta-voz.
O ChatGPT Health está disponível apenas para um número limitado de usuários, e a OpenAI ainda está trabalhando para melhorar a segurança e a confiabilidade do modelo antes de tornar o chatbot mais amplamente disponível, disse o porta-voz.
Comparado aos médicos do estudo, o bot também examinou 64,8% dos casos desnecessários, recomendando uma consulta médica quando não fosse necessária. O bot pediu a um paciente com dor de garganta há três dias que procurasse um médico dentro de 24 a 48 horas, quando o atendimento domiciliar fosse suficiente.
“Não tenho nenhuma razão para recomendar alguns casos contra outros”, disse Ramaswamy.
Em situações de ideação suicida ou automutilação, a resposta do bot também foi inconsistente.
Quando um usuário expressa intenção suicida, ChatGPT deve mencionar usuários 988, a linha direta de suicídio e crise. ChatGPT Health funciona da mesma maneira, diz um porta-voz da OpenAI.
No estudo, entretanto, o ChatGPT Health encaminhou usuários para o 988 quando eles não precisavam e não encaminhou usuários quando precisaram.
Ramaswamy chamou o bot de “paradoxal”.
“Foi contra o risco clínico”, disse ele. “E foi meio ao contrário.”
‘um terapeuta médico’
John Maffei, professor associado de medicina e médico de cuidados primários da UCLA Health que não esteve envolvido na pesquisa, disse que são necessários mais testes em chatbots que possam tomar decisões de saúde.
“A mensagem deste estudo é que antes de lançar algo assim, para tomar uma decisão que afeta a vida, você precisa testá-la rigorosamente em um estudo controlado, onde você garante que os benefícios superam os danos”.
Tanto Mafi quanto Ramaswamy dizem ter visto seus próprios pacientes usarem IA para questões médicas.
Ramaswamy disse que as pessoas podem recorrer à IA para obter conselhos de saúde porque é de fácil acesso e não há limite para o número de perguntas que uma pessoa pode fazer.
“Você pode analisar todas as perguntas, todos os detalhes, todos os documentos que deseja enviar”, disse Ramaswamy. “E isso preenche essa necessidade. As pessoas realmente não querem apenas aconselhamento médico, elas querem um companheiro como um terapeuta médico.”
OpenAI disse Relatório de janeiro Que a maioria das mensagens relacionadas à saúde do ChatGPT ocorre fora do horário normal de trabalho do médico, e mais de meio milhão de mensagens semanais vêm de pessoas que moram a 30 minutos ou mais de distância do hospital.
“Um médico pode passar 15, 20 minutos na sala com você”, disse Ramaswamy. “Eles não serão capazes de responder e responder a todas as perguntas.”
Riscos de usar chatbots para aconselhamento médico
Apesar dos benefícios de sua disponibilidade infinita, quando questionado se os chatbots podem atualmente fornecer conselhos médicos e de saúde com segurança, Ramaswamy disse que não.
O Diretor Executivo da AI Research Network ARISE, Dr. Ethan Goh, diz que, em muitos casos, a IA pode fornecer conselhos médicos e de saúde seguros, mas não substitui o conselho de um médico.
“A realidade é que os chatbots podem ser úteis para muitas coisas. É mais uma questão de ser atencioso e intencional e compreender que existem sérias limitações”, disse ele.
Como os modelos de IA são treinados e quais dados são usados para treiná-los são em grande parte desconhecidos, diz Monica Aggarwal, professora assistente no Departamento de Bioestatística e Bioinformática e professora assistente no Departamento de Ciência da Computação da Duke University.
Ele disse que alguns critérios de treinamento podem não indicar o potencial de um bot para ajudar.
“Muita avaliação anterior (da OpenAI) foi baseada em: ‘Fazemos isso bem em testes de licenciamento’”, disse ele. “Mas há uma enorme diferença entre se sair bem em um exame médico e realmente praticar medicina”.
Ele acrescentou que quando as pessoas usam chatbots, as informações fornecidas pelos usuários nem sempre são claras e podem conter preconceitos.
“Os grandes modelos de linguagem são conhecidos por serem bajuladores”, disse ele. “O que significa que eles tendem a concordar com as opiniões do usuário, mesmo que possam não estar corretas. E isso tem o potencial de reforçar os equívocos ou preconceitos dos pacientes”.
Maffei disse que as ferramentas de IA são “projetadas para fazer você feliz”, mas como médico, “às vezes você tem que dizer coisas que podem não deixar o paciente feliz”.
Ramaswamy disse que não confiar na IA em caso de emergência e usá-la em conjunto com um médico é fundamental para prevenir danos. Ele disse que a colaboração entre empresas de tecnologia e de saúde é fundamental para o desenvolvimento de produtos seguros de IA.
“Se estes modelos forem melhores, posso ver os benefícios da relação paciente-IA-médico, especialmente em ambientes rurais ou na saúde global”, disse ele.
