Podcast: Reproduza em uma nova janela | Download (Duração: 43:51 — 40,1 MB)
Assine: Podcasts da Apple | Spotify
O CMO da Heidi Health, Dr. Simon Koss, explica como ferramentas clínicas reprovadas revelam uma demanda válida e como transformar esse sinal de frustração em satisfação. Assista abaixo ou no YouTube.
Simon Koss, MD, Diretor Médico, Heidi Health
Quando os médicos recorrem a ferramentas de IA não aprovadas, notam a diferença entre a ferramenta que pretendem e aquela que a sua organização fornece. Os líderes que ignoram este sinal estão assumindo riscos reais sem motivo. Este anúncio veio do Dr. Simon Koss, Diretor Médico da Felicidades para Heidiem um episódio da perspectiva do parceiro do HealthsystemCIO Show.
Koss passou 24 anos na área de saúde digital e vê a atual onda generativa de IA como o período mais emocionante de sua carreira. É também o mais difícil de navegar. Ferramentas poderosas para o consumidor estão agora chegando, adotadas por médicos que decidiram que existe uma maneira melhor de fazer o trabalho. Comumente referido como sombra AI; o seu ponto principal é que os líderes devem interpretar isso como inteligência e não como desafio.
Usar sombra não é novidade, disse Koss. Ele traçou uma linha desde, por exemplo, um sobrinho criando um registro clínico, passando por planilhas Excel off-line, até as ferramentas atuais baseadas em nuvem. O que mudou foi o poder das ferramentas e a inteligência das pessoas que as utilizam. Como resultado, a lacuna entre a documentação EHR e uma ferramenta especializada de IA aumentou e os médicos estão a sentir a atração.
“Você encontra o uso de shadow IT e shadow AI quando há uma incompatibilidade entre o trabalho que precisa ser feito e as ferramentas fornecidas”, disse ele. A justificação raramente é imprudente. Os médicos enfrentam alta demanda e tempo limitado, por isso eles próprios procuram qualquer coisa que ajude. O que falta é a devida diligência na empresa que a TI irá gerenciar. Onde ficam os dados? Como é protegido? O treinamento alimenta modelos?
Quanto maior a diferença na funcionalidade, mais forte será a atração. A maioria dos sistemas de saúde nos EUA trabalha com um grande fornecedor de EHR, muitos com a Epic e outros com a Meditech ou Oracle Health. Um incentivo bem documentado leva os líderes a permanecerem no grupo e a comercializarem capacidades de integração, o que pode significar aceitar 75% ou 80% do que um fornecedor de nicho forneceria. (ver: Adler-Milstein, da UCSF, afirma que a força de permanecer na suíte para IA clínica é forte, a política pode ser a única maneira de nivelar o campo de jogo). Um segundo problema complica tudo. Uma ferramenta pode já estar licenciada, mas a informação se espalha lentamente e uma consulta pode levar semanas para compensar um cheque.
A economia oculta do apoio à decisão clínica de IA
Quando uma ferramenta baseada em evidências é gratuita para os médicos, alguém ainda está pagando por ela, e o modelo de financiamento molda o que a ferramenta mostra.
Este princípio está no cerne de uma questão que os líderes médicos e de informática enfrentam cada vez mais à medida que a IA generativa se move para apoiar decisões clínicas: quem influencia as respostas?
A preocupação precede a IA. Koss apontou o caso Practice Fusion como um precedente preventivo. O fornecedor de EHR ofereceu seu produto gratuitamente aos médicos, depois monetizou dados anonimizados e inseriu publicidade no fluxo de trabalho. Em 2020, a empresa reconheceu que tinha solicitado aproximadamente 1 milhão de dólares a um grande fabricante de opiáceos para construir sinais de apoio à decisão clínica que incentivassem a prescrição de opiáceos de libertação prolongada, incluindo a pacientes que ainda não tomam opiáceos. Ela pagou US$ 145 milhões para resolver o caso. Posteriormente, as autoridades federais vincularam esses pagamentos à Purdue Pharma. O episódio mostrou como os incentivos comerciais podem passar de forma invisível para uma ferramenta clínica.
A IA generativa aumenta os riscos porque a influência pode ser mais difícil de ver. A publicidade gráfica é um risco, e os médicos muitas vezes presumem que podem filtrá-la, embora Koss tenha observado que a publicidade persiste precisamente porque funciona. O risco mais sutil é a classificação. Quando as respostas são ordenadas segundo um padrão moldado por financiamento externo e não por evidências clínicas, o médico pode receber respostas plausíveis, ponderadas em função do interesse do patrocinador, sem um alerta no ecrã de que algo está errado.
Para os Diretores Médicos e CMIOs, a resposta prática é a devida diligência no modelo de negócios por trás de cada ferramenta de evidência. Perguntas úteis incluem como o fornecedor gera receitas, se os médicos veem anúncios, se as fontes são classificadas por um algoritmo influenciado pelo financiamento e se as citações são transparentes e rastreáveis à literatura primária.
As normas regionais variam. A publicidade farmacêutica no fluxo de trabalho clínico é limitada em mercados como a Austrália e o Reino Unido e continua comum nos EUA. A Heidi, que opera nessas jurisdições, afirma que projeta de acordo com os mais altos padrões e oferece produtos sem anúncios apoiados por citações, mesmo quando as regras locais permitem a publicidade.
Shadow AI como um MVP gratuito
Kos reformula o risco como oportunidade através das lentes do produto mínimo viável. Por exemplo, um sistema de saúde que constrói uma ferramenta num laboratório e a disponibiliza aos utilizadores enfrenta uma ameaça constante de má adoção. Os custos de gestão de mudanças são construídos em torno de comunicações, defensores, métricas e incentivos. Shadow AI inverte essa dinâmica. Especificamente, os médicos que utilizam uma ferramenta sem penalidades já provaram onde reside o valor.
“Eles podem não estar usando a ferramenta que você escolheria, mas identificaram onde está o valor e veem valor suficiente para estarem dispostos a comprometer parte de seu capital político para usá-lo”, disse ele. Com efeito, a força de trabalho reduz o risco do projeto para a empresa. A medida prática é descobrir o que as pessoas já estão usando, entender a necessidade e então executar um pedido apropriado. A organização pode trazer de volta uma ferramenta diferente, mas ela resolve o problema subjacente, de modo que a adoção se torna uma atração em vez de um empurrão.
Descobrir o que está sendo usado requer confiança, disse Koss, porque as pessoas ficam caladas quando esperam que lhes digam não. As pesquisas anônimas ajudam, assim como o trabalho de base. Usuários de nicho bem conectados sabem o que está circulando e compartilharão isso quando o ambiente for adequado. Sua leitura do momento é que o uso está em alta, então os líderes precisam fazer mais perguntas.
Preenchendo a lacuna sem ficar para trás
Para os CIOs que sentem necessidade de permanecer na suíte, Kos fundamenta seu conselho com propósito. A organização existe para fornecer serviços de saúde e a força de trabalho precisa das ferramentas certas. O uso de Shadow AI, em particular, destaca a discrepância e o caso de uso pronto. Entretanto, deixar a lacuna aberta convida à exposição contínua de dados sensíveis através de canais não verificados.
O caminho sugerido é recuar e limitar o prazo de entrega, firmando contratos de um ano com um fornecedor especializado e observando se o fornecedor do pacote o alcança. Embora, devido à capacidade de foco do profissional de nicho, isso possa não acontecer necessariamente. A Heidi emprega cerca de 120 engenheiros de IA focados em redação e revisão, enquanto os fornecedores de pacotes empregam milhares de pessoas em enormes portfólios.
A confiança nas próprias ferramentas também é importante, e aqui Kos apontou para a regulamentação. Heidi busca registro de dispositivos médicos em vez de jogar na zona cinzenta. Seu escriba é um dispositivo médico de Classe I no Reino Unido, onde MHRA estabelece um dos padrões mais rígidos do mundo. A vontade do vendedor de entrar em território regulamentado é uma questão que vale a pena perguntar porque a sua vontade de superar este fardo elimina o risco regulamentar do cliente.
Uma nova era para CMIO
A democratização da IA também mudou quem detém essas decisões. O digital já foi domínio do CIO, enquanto o CMO historicamente é dono da qualidade e segurança da força de trabalho. Esses objetivos nunca foram totalmente acordados, então o CMIO surgiu na década de 2000 como intérprete. Agora que as ferramentas democratizadas vêm de baixo para cima, a governação deve tornar-se uma conversa organizacional sobre transparência. Cos vê os riscos como altos. A tecnologia digital está sendo implementada agora para o bem-estar do médico, juntamente com o benefício para a empresa.
Leve embora
- Trate a IA sombria como uma pesquisa de mercado. O uso não sancionado mostra onde está o valor e quais casos de uso já foram validados pela força de trabalho.
- Meça a diferença na funcionalidade. Quanto maior a distância entre as ferramentas do kit e o que os médicos sabem que existe, mais forte será a marca.
- Crie confiança para descobrir o que está sendo usado. Pesquisas anônimas e usuários avançados especializados mostram mais do que auditorias de cima para baixo.
- Verifique o modelo de negócios. Pergunte se uma ferramenta baseada em evidências traz uma classificação publicitária ou financiada que pode orientar a prescrição.
- Contratos a prazo especializados. Os acordos de um ano colmatam agora as lacunas e permitem a migração de volta para o pacote assim que as próprias capacidades se recuperarem.
- Peça ajustes aos vendedores. O plano de registo como dispositivo médico sinaliza a sua vontade de assumir responsabilidades.
Para Cos, o ambiente atual recompensa os líderes que mantêm os olhos abertos em toda a organização. “Para navegar adequadamente nesta nova era, todos precisam entender o que existe, o que está sendo usado, quais são os prós e os contras”, disse ele.
