Você não pode “definir e esquecer” com IA clínica

O departamento de radiologia da Penn Medicine passou quase sete anos construindo um processo de gerenciamento de IA do zero, e a maior lição não tem nada a ver com algoritmos. Trata-se de pessoas: envolver as partes interessadas desde o início, respeitar o seu tempo e reconhecer que a implementação da IA ​​em ambientes clínicos requer uma abordagem fundamentalmente diferente da implementação do software tradicional. Tessa Cook, MD, PhD, professora associada e vice-presidente de transformação da prática radiológica na Penn Medicine, lidera os esforços do departamento para avaliar e implementar IA em um sistema que inclui oito hospitais e processa aproximadamente 2,5 milhões de estudos de imagem anualmente.

Cook, formada em engenharia biomédica e ciência da computação pela Universidade Johns Hopkins, juntamente com seu M.D./Ph.D. da Universidade da Pensilvânia, construiu a abordagem de gerenciamento do departamento com Amina Elahi, diretora associada de iniciativas de IA da Penn Medicine, e Susan Harkness Regley, cientista de fatores humanos do Sistema de Saúde da Universidade da Pensilvânia. Juntos, os três moldaram a forma como a gestão em nível de departamento informava a estratégia de toda a empresa e como a abordagem empresarial, por sua vez, mudou os próprios processos do departamento.

Podcast: Reproduza em uma nova janela | Download (Duração: 39:48 – 36,5 MB)

Assine: Podcasts da Apple | Spotify

Domando o Velho Oeste

Antes de a Penn Medicine estabelecer a sua estrutura de governação atual, a adoção da IA ​​na radiologia era caótica. Médicos individuais participarão de conferências, ficarão entusiasmados com o produto de um fornecedor, voltarão para casa e tentarão distribuí-lo pelos canais de entrega sem compreender as etapas envolvidas. “Um dos meus colegas ia a uma reunião, conversava com uma empresa de IA, ficava entusiasmado, chegava em casa e dizia: ‘Ah, precisamos conseguir isso.’ Eles tentariam passar pelo processo. Eles inevitavelmente baterão em paredes de tijolos e não saberão como avançar”, disse Cook. Entretanto, outro médico repetiria o mesmo ciclo com o mesmo prestador, duplicando o esforço desperdiçado.

Ao longo de vários anos, Cook e sua equipe mapearam as etapas internas necessárias para mover um aplicativo de IA do interesse inicial, passando pela revisão departamental, até a revisão empresarial. Este trabalho estabeleceu um comitê diretor composto por líderes organizacionais seniores, especialistas clínicos e profissionais de TI que se reúnem mensalmente para avaliar possíveis ferramentas de IA. O comitê realiza avaliações em série, completando uma antes de iniciar a próxima, para que possam aplicar as lições aprendidas de cada ciclo no seguinte. A equipe de Cook é pequena e ela protege deliberadamente sua largura de banda. Ela é igualmente deliberada em proteger o tempo dos executivos seniores que atuam no comitê. Se a reunião mensal não tiver uma agenda significativa, ela a cancela e envia uma atualização por e-mail. Quando uma próxima sessão exige presença total, ela sinaliza com antecedência. A abordagem construiu confiança e compromisso sustentado ao longo do tempo.

Acertar o momento certo para o envolvimento das partes interessadas é um desafio. Trazer os médicos tarde demais para revisar um produto quase acabado corre o risco de negligenciar questões críticas do fluxo de trabalho. Envolvê-los demasiado cedo, antes de a ferramenta estar pronta para uma avaliação significativa, corre o risco de desperdiçar o seu tempo e minar a sua vontade de participar novamente. “Se você construir um sistema inteiro sem obter informações dos especialistas do domínio e dos usuários finais, é muito provável que acabe com algo que não funciona no ambiente para o qual foi projetado para funcionar”, disse Cook.

Por que o gerenciamento de IA é diferente

A Penn Medicine inicialmente tentou canalizar ferramentas de IA por meio de seu processo de gerenciamento de software existente. Esta abordagem falhou. O software EHR tradicional se comporta de maneira previsível: um clique específico leva a um resultado específico. IA não. A mesma entrada pode produzir saídas diferentes. Os vícios devem ser avaliados. O impacto nos pacientes e nos médicos deve ser avaliado. Os fatores de interação humano-computador, tipo de análise que o Regli fornece à equipe, são essenciais para garantir que as ferramentas funcionem na prática. O sistema de saúde implementa agora um processo de gestão híbrido que combina elementos de uma revisão de software padrão com critérios de avaliação específicos da IA.

A diferença mais significativa entre IA e gerenciamento de software convencional é o que acontece após a implementação. Os modelos de IA podem se mover. O desempenho pode ser prejudicado quando as populações de pacientes mudam ou os padrões de dados mudam. Cook explica: “Não é um forno grill. Você não pode simplesmente configurá-lo e esquecê-lo, ir embora e pensar que vai continuar funcionando exatamente como começou.” Agora, muitos dos esforços de gestão da Penn Medicine estão focados em encontrar maneiras de monitorar efetivamente a IA implantada.

A radiologia atua em três grandes áreas da IA. A primeira são imagens baseadas em pixels: ferramentas estreitas de IA que detectam acidente vascular cerebral, hemorragia intracraniana ou embolia pulmonar, juntamente com modelos subjacentes emergentes capazes de gerar relatórios preliminares a partir de imagens. A segunda são os relatórios, onde a IA generativa ajuda a produzir resumos de impressões em um fluxo de trabalho semelhante ao dos escribas ambientais em outros ambientes clínicos. A terceira são as operações: IA que otimiza o agendamento de pacientes, a equipe de tecnólogos e o uso do scanner. Todas as três categorias, incluindo redes neurais convolucionais, que atuam na radiologia há uma década, são probabilísticas. O processo de governança da Penn Medicine os trata de forma semelhante; tudo o que diz respeito aos dados do paciente passa pelo mesmo canal de avaliação.

A imagem corporativa também está ganhando impulso na Penn Medicine à medida que o sistema de saúde se esforça para harmonizar o acesso aos dados de imagem gerados pelos departamentos. Scanners de raios X, máquinas de ecocardiografia, lâminas digitais de patologia, fotografias dermatológicas e imagens de retina produzem dados que historicamente viviam em silos separados. Quebrar esses silos para permitir o acesso entre agências, eliminar a mídia física para troca de imagens e reduzir o armazenamento redundante traz economia de custos e benefícios diretos ao paciente. Os pacientes não precisam transportar suas próprias imagens de uma instituição para outra ou fazer ligações telefônicas para acompanhar exames anteriores.

Leve embora

• Execute avaliações de IA em série para capturar e aplicar as lições aprendidas em cada ciclo
• Envolver as partes interessadas no início do processo; esperar até que a solução esteja quase pronta corre o risco de perder elementos críticos do fluxo de trabalho
• Cancelar reuniões que poderiam ser gerenciadas por e-mail para construir a confiança entre os ocupados membros do comitê; sinalizar reuniões que exigem participação total
• Trate o gerenciamento de IA separadamente do gerenciamento de software padrão para levar em conta comportamento não determinístico, preconceitos e fatores humanos
• Planeje o monitoramento pós-implantação desde o início; O desempenho da IA ​​pode degradar com o tempo
• Buscar estratégias empresariais de imagem para eliminar silos departamentais, reduzir o armazenamento redundante e melhorar a troca de imagens para pacientes e médicos

Quando solicitado a dar um conselho final aos colegas de outros sistemas de saúde, Cook manteve a simplicidade. “A parte da tecnologia é fácil”, disse ela. “Não se esqueça do componente pessoal. Fazemos tudo o que fazemos para atender nossos pacientes. É por isso que estamos na área da saúde. Mas há pacientes, há saúde da população, há saúde da força de trabalho, e todos eles têm potencial para serem melhorados pela tecnologia.”