À medida que a adoção da IA médica aumenta rapidamente, as empresas de IA na saúde estão deixando de simplesmente gerar respostas para provar por que essas respostas devem ser confiáveis.
OpenEvidence, um mecanismo de busca médica baseado em IA, desenvolveu um segundo recurso piloto de IA médica que avalia e visualiza a qualidade das evidências publicadas citadas e usadas para informar cada resposta a uma pergunta clínica. A função chamada Grau de evidênciaadiciona uma camada crítica de contexto para ajudar a incorporar evidências médicas em decisões médicas importantes, afirma a empresa.
Uma limitação bem conhecida dos sistemas de IA é que, quando agregam múltiplas fontes, desfocam as diferenças na qualidade dessas fontes, de acordo com a OpenEvidence. Esta limitação pode ter um impacto significativo nos cuidados de saúde com a diferença entre as evidências de um ensaio randomizado, cego e controlado por placebo e as evidências de um pequeno estudo observacional numa população estrangeira.
De acordo com Daniel Nadler, fundador e CEO da OpenEvidence, o EvidenceGrade exibe, quantifica, classifica e visualiza a qualidade das evidências por trás das respostas do OpenEvidence em termos da segurança com que os médicos podem aplicar essas evidências na prática clínica do mundo real.
Além de simplesmente citar as fontes, o novo recurso do OpenEvidence avalia a qualidade subjacente das evidências por trás dessas fontes e expõe essa avaliação aos médicos em tempo real.
A empresa forneceu à Fierce Healthcare uma primeira visão do novo recurso.
Avaliação do EvidenceGrade sobre as evidências por trás da resposta (OpenEvidence)
Isto marca uma mudança contínua à medida que as empresas de IA na área da saúde competem cada vez mais com base na confiança e não apenas na precisão. À medida que as ferramentas generativas de IA se tornam mais capazes, o diferencial não é mais simplesmente responder rapidamente às perguntas clínicas.
O EvidenceGrade foi desenvolvido pela equipe de cientistas de IA médica da OpenEvidence, liderada pelo médico-cientista Sam Finlayson, MD, Ph.D. e Travis Zack, MD, Ph.D. e os principais cientistas de aprendizado de máquina, Evan Hernandez, Ph.D. e Eric Lehman, MD, disse Nadler.
EvidenceGrade é baseado em Quadro GRADE — Avaliação da Avaliação, Desenvolvimento e Avaliação de Recomendações, um padrão amplamente aceito para avaliar a qualidade das evidências. Esta é a metodologia por trás da Cochrane, uma rede sem fins lucrativos de pesquisadores, profissionais e pacientes de saúde, a Organização Mundial da Saúde e a maioria das principais diretrizes clínicas.
“A equipe consultou especialistas em síntese de evidências e revisou as abordagens usadas pela Cochrane e equipes semelhantes. Essas abordagens foram então adaptadas aos requisitos exclusivos da tomada de decisões em tempo real que o OpenEvidence foi projetado para apoiar”, disse Nadler à Fierce Healthcare.
Nadler observou como o EvidenceGrade avalia uma pergunta: as perguntas são primeiro classificadas para determinar se são adequadas para classificação e, em seguida, todos os documentos recuperados são avaliados quanto à qualidade, certeza e relevância. O modelo é treinado para avaliar a força do desenho do estudo, a consistência e a precisão entre as fontes, e quão diretamente as evidências abordam a questão – refletindo como um metodologista especialista avaliaria um conjunto de evidências, disse ele.
Uma nota ‘A’ significa que a evidência é apoiada pelos melhores desenhos de estudo disponíveis para a questão: ensaios clínicos randomizados ou revisões sistemáticas rigorosas, coortes ou registros prospectivos bem conduzidos, ou diretrizes atuais baseadas em evidências com recomendações fortes. O grau “B” é evidência moderada apoiada por desenhos de estudo apropriados com limitações notáveis em um ou mais eixos: amostras modestas, resultados substitutos, evidências observacionais aplicadas a uma questão terapêutica ou imprecisão moderada.
A nota “C” denota evidências limitadas baseadas em designs mais fracos, como revisões narrativas ou opiniões de especialistas, ou designs mais fortes com limitações severas em múltiplos eixos. E o grau “D” indica evidência mínima baseada em relatos de casos, séries de casos, dados pré-clínicos ou extrapolação mecanística e oferece um sinal direcional.
EvidenceGrade atribui U quando nenhuma nota pode ser atribuída.
“Nem todas as evidências são igualmente certas e, ao agir com base em uma resposta, é imperativo que o médico entenda quanto peso a evidência subjacente pode ter”, disse Samuel Finlayson, MD, Ph.D., vice-presidente sênior de IA médica da OpenEvidence. “As equipes especializadas de avaliação de pesquisas realizam um trabalho inestimável, mas não conseguem cobrir todas as questões que surgem na prática diária. Criamos o EvidenceGrade para estender seus métodos ao maior número possível de questões. Nós o vemos como um complemento à síntese de evidências tradicionais e o divulgamos como um ponto de partida que irá melhorar à medida que a comunidade clínica nos ajudar a refiná-lo.”
Como o EvidenceGrade avalia uma resposta desde uma declaração passível de avaliação até uma nota final. (Evidência aberta)
A OpenEvidence desenvolveu um mecanismo de pesquisa médica baseado em IA e um chatbot generativo de IA exclusivamente para médicos que resume e simplifica informações médicas baseadas em evidências. Em julho, havia 915 mil médicos licenciados e avaliados nos EUA, incluindo enfermeiros, enfermeiros e assistentes médicos usando o OpenEvidence, com mais de 690 mil médicos licenciados e selecionados nos EUA.
A empresa também anunciou na quinta-feira uma colaboração entre a NewYork-Presbyterian e suas escolas médicas afiliadas, a Faculdade de Médicos e Cirurgiões Vagelos da Universidade de Columbia e a Weill Cornell Medicine, para implementar o OpenEvidence em todos os hospitais e locais de atendimento.
O OpenEvidence estará disponível para equipes clínicas da NewYork-Presbyterian, Columbia e Weill Cornell Medicine, disseram as organizações.
“Cada paciente é único e seus cuidados devem refletir isso”, disse Chief Umejei, diretor de informação do NewYork-Presbyterian, em comunicado. “Ao disponibilizar o OpenEvidence em nossos sistemas, os médicos podem usar a IA para acessar e analisar pesquisas médicas em tempo real e usar essas informações para fornecer atendimento informado e compassivo às comunidades que atendemos”.
Isto marca outra integração de toda a empresa com um grande sistema de saúde na área de Nova Iorque, uma vez que a empresa também colabora com o Mount Sinai.
A empresa ganhou força no mercado como uma ferramenta gratuita para médicos, mas a OpenEvidence pretende agora expandir a sua presença em hospitais e sistemas de saúde. Também funciona com Sutter Saúde e Cedars-Sinai para integrar sua plataforma baseada em IA para busca médica e suporte de soluções nos sistemas de registros eletrônicos de saúde das organizações.
Estes sistemas de saúde utilizam atualmente o modelo suportado por anúncios da OpenEvidence. Nadler disse à Fierce Healthcare em maio que um modelo empresarial está sendo desenvolvido.
“Somos pioneiros em um modelo empresarial de IA pronto para uso, apoiado por anúncios, semelhante ao modelo de negócios da Anthropic para grandes sistemas como Mount Sinai ou Cedars-Sinai que desejam essa opção e onde há oportunidades significativas para personalização em nível empresarial e valor agregado além do produto principal OpenEvidence gratuito para o médico”, disse ele.
