Agentes de IA precisam de proteções para gerenciar riscos

As organizações de saúde que implantam agentes de IA precisam criar barreiras de proteção fortes para evitar danos clínicos e à reputação, mesmo quando fazem parceria com fornecedores de tecnologia líderes, de acordo com o Dr. Spencer Dorn, vice-presidente do departamento de medicina e chefe de informática médica da Universidade da Carolina do Norte em Chapel Hill.

Um incidente recente na Gap ilustra o que está em jogo. O varejista implantou um chatbot desenvolvido por uma importante empresa de inteligência artificial para gerenciar o tráfego de atendimento ao cliente nas férias. Apesar de trabalhar com um líder do setor, alguém manipulou maliciosamente o chatbot para fazer declarações ofensivas que geraram manchetes negativas.

“Qual diretor de TI da área de saúde deseja aparecer em seu site de notícias local pelos motivos errados? Nenhum deles”, disse Dorn. “Os riscos são um pouco maiores nos cuidados de saúde. Às vezes são dramaticamente maiores.”

Podcast: Reproduza em uma nova janela | Download ()

Assine: Podcasts da Apple | Spotify

O exemplo da Gap mostra que mesmo agentes de IA bem concebidos podem falhar de formas inesperadas e que os cuidados de saúde enfrentam consequências mais graves do que o retalho. Embora o incidente da Gap tenha causado constrangimento, os erros de IA nos cuidados de saúde podem atrasar o atendimento, direcionar os pacientes para serviços inadequados ou comprometer a tomada de decisões clínicas.

A fronteira clínico-administrativa

As organizações de saúde não podem simplesmente implantar agentes de IA em áreas administrativas de baixo risco e evitar consequências clínicas. Em ambientes do mundo real, a linha entre o trabalho administrativo e clínico muitas vezes desaparece.

O agendamento de consultas requer julgamento clínico em relação à urgência, locais de atendimento apropriados e experiência do profissional. Os processos de autorização prévia incluem histórias clínicas detalhadas e progressão do tratamento. Até mesmo a faturação está ligada a diagnósticos, procedimentos e prestação de cuidados de forma a afetar os resultados e as experiências dos pacientes.

“Não existe uma linha clara que separa o que é considerado clínico e o que é administrativo”, disse Dorn. “Mesmo coisas que são administrativas ainda às vezes apresentam riscos se você errar.”

Um paciente designado para o especialista errado perde licença do trabalho, incorre em taxas desnecessárias e atrasa os cuidados necessários. O especialista perde tempo atendendo o paciente errado. Todo o sistema se torna menos eficiente. O que parece ser um simples erro administrativo cria problemas clínicos e operacionais em cascata.

Em última análise, as organizações de prestação de cuidados de saúde são responsáveis ​​quando os sistemas de IA falham, independentemente do envolvimento do fornecedor. Esta responsabilidade molda a forma como os sistemas de saúde abordam as estratégias de gestão e implementação de agentes de IA.

Construindo uma governança eficaz

O gerenciamento eficaz dos agentes de IA começa muito antes da implantação. As organizações devem avaliar como as ferramentas foram desenvolvidas, identificar possíveis distorções nos dados de treinamento e avaliar até que ponto as soluções são generalizadas para suas populações específicas de pacientes. A avaliação continua após a implementação com monitoramento contínuo da degradação do desempenho.

O desafio da gestão aumenta com a IA generativa, que produz resultados incertos que não podem ser totalmente contidos. A mesma solicitação pode gerar respostas diferentes a cada vez, exigindo que as organizações estabeleçam barreiras de proteção adequadas sem sufocar a inovação.

“A realidade é que geralmente não é possível proteger contra todos os riscos, então como mitigar o suficiente?” disse Dorn.

As organizações também devem estabelecer padrões de desempenho realistas. Os profissionais de saúde cometem erros no agendamento, na comunicação e no julgamento clínico. Avaliar agentes de IA requer comparar seu desempenho com o desempenho humano real, e não com a perfeição teórica.

A maioria das organizações de saúde desenvolveu conhecimentos de gestão através da implementação de EHR. Estas experiências ensinaram os líderes a evitar promessas excessivas, a antecipar consequências não intencionais e a permanecer alertas para os problemas. As mesmas disciplinas se aplicam à implantação de agentes de IA.

Avaliação de impacto em todo o sistema

Os agentes de IA que automatizam com sucesso um processo muitas vezes criam gargalos em outras partes do sistema de prestação de cuidados. Um sistema de agendamento automatizado que aumenta drasticamente o agendamento de consultas pode sobrecarregar os departamentos de imagem, os consultórios especializados ou a capacidade de acompanhamento.

Dorn cita a teoria das restrições desenvolvida por Eliyahu Goldrath, que explica como aliviar um gargalo num sistema revela restrições noutros lugares. A implementação da IA ​​nos cuidados de saúde requer a análise de todo o percurso do cuidado, e não apenas do objetivo imediato da automação.

“Quando você alivia um obstáculo em um lugar, você pode encontrar um obstáculo em outro lugar”, disse Dorn. “Precisamos pensar nos gargalos a jusante e a montante para realmente ter um impacto total.”

Os líderes tecnológicos e os líderes operacionais devem discutir as potenciais implicações de uma implementação bem-sucedida da IA ​​antes da implementação. Se a automação funcionar excepcionalmente bem, os processos downstream poderão lidar com o aumento do volume? Esse planejamento garante que as organizações evitem criar novos problemas enquanto resolvem os existentes.

Tolerância ao risco e velocidade de inovação

As organizações de saúde devem equilibrar a necessidade de inovação com os cuidados exigidos. A indústria enfrenta limites reais nos recursos que os agentes de IA podem gerir. Os call centers não podem processar todas as solicitações recebidas. A equipe administrativa enfrenta dificuldades com os volumes de autorização prévia. As equipes clínicas precisam de apoio para gerenciar populações complexas de pacientes.

A tecnologia oferece soluções para estes problemas de capacidade, mas a implantação exige uma avaliação cuidadosa dos riscos. Quanto mais diretamente o agente de IA afeta as decisões clínicas ou a segurança do paciente, menor se torna a tolerância ao risco aceitável. Algumas aplicações podem, em última análise, qualificar-se como dispositivos médicos, resultando em requisitos regulamentares adicionais.

As organizações que se tornam excessivamente cautelosas correm o risco de não atender os pacientes de forma eficaz. Os atuais sistemas baseados em humanos já falham regularmente, deixando os pacientes incapazes de agendar consultas, navegar em processos de cuidados complexos ou receber acompanhamento atempado. Agentes de IA que melhoram o desempenho atual, mesmo que de forma imperfeita, podem beneficiar pacientes e médicos.

Uma abordagem de execução estratégica

Os líderes tecnológicos devem identificar fornecedores externos e partes interessadas internas adequadas para orientar a implantação de agentes de IA. Poucos sistemas de saúde conseguem desenvolver ferramentas sofisticadas de IA por conta própria, o que torna a seleção de fornecedores crítica. Internamente, médicos, enfermeiros, pessoal administrativo e líderes operacionais fornecem perspectivas essenciais que moldam implementações bem-sucedidas.

Manter-se atualizado sobre as capacidades de IA em rápida evolução exige aprendizado contínuo por meio de redes profissionais, organizações industriais e leitura extensiva. Os líderes devem manter um ceticismo saudável em relação às afirmações de marketing, ao mesmo tempo que permanecem abertos a oportunidades genuínas de inovação.

A estrutura de controlo deve incluir mecanismos para reagir rapidamente quando os agentes de IA se comportam de forma inesperada. As organizações precisam de responsabilidade clara, caminhos de escalonamento definidos e a capacidade de pausar ou alterar implantações quando surgirem problemas. Essa infraestrutura permite que as organizações avancem rapidamente enquanto gerenciam os riscos de forma adequada.

Leve embora

• Estabeleça processos de governança pré-implantação que avaliem a metodologia de desenvolvimento, possíveis desvios e desempenho em relação a métricas humanas realistas
• Reconhecer que tarefas administrativas, como agendamento e faturamento, acarretam implicações clínicas que exigem uma avaliação cuidadosa dos riscos
• Analise todos os caminhos de atendimento para identificar possíveis gargalos posteriores que a automação bem-sucedida pode revelar
• Planeje mecanismos para responder ao comportamento inesperado do agente de IA, incluindo relatórios claros e a capacidade de pausar implantações
• Equilibre a velocidade da inovação com a devida diligência, comparando o desempenho da IA ​​com os resultados humanos reais
• Construir parcerias com fornecedores externos que entendem os requisitos específicos de saúde e as partes interessadas internas em funções clínicas e operacionais
• Aplicar as lições da implementação do EHR para evitar promessas excessivas e, ao mesmo tempo, reconhecer oportunidades reais de melhoria

As organizações de saúde devem manter a perspectiva durante as rápidas mudanças tecnológicas, ao mesmo tempo que tomam medidas concretas para proteger os pacientes e a reputação institucional. “Como podemos usar essas ferramentas da maneira certa para melhorar as experiências e o desempenho e, ao mesmo tempo, reconhecer que existe risco?” disse Dorn.