A política cibernética em que o sistema de saúde depende hoje pode não compensar quando um agente de IA age sozinho. A maioria das coberturas ainda exige uma violação de segurança para acioná-la. Esta lacuna está no centro de uma nova análise de Quanyang Zhuprofessor associado de engenharia elétrica e de computação em Escola de Engenharia Tandon da NYU. Descreve como a IA autónoma está a superar o desempenho do seguro concebido para a cobrir.
Para começar, Zhu traça uma linha nítida entre o risco de informação e o risco de ação. Um chatbot que redige uma nota gera informações, e um ser humano ainda decide o que fazer com elas. Um agente que visualiza, executa transações, altera registros ou envia mensagens cria mudanças reais no mundo. Uma vez que um sistema pode alterar um ambiente digital ou físico, ele pode criar diretamente uma perda segurada. Nenhuma pessoa fica no circuito. Para sistemas de saúde que têm como alvo agentes que acessam EHRs ou fazem pedidos, esta linha é a mais importante.
A exposição é fácil de perder porque a perda de uma IA de agente pode ocorrer sem qualquer violação. Zhu aponta vários caminhos: alucinações, raciocínio falacioso, ataques rápidos de injeção, delegação insegura e preconceito de modelo. Qualquer pessoa pode causar danos reais, mesmo quando nenhum invasor se infiltra na rede. Os formulários cibernéticos padrão foram escritos em torno de um gatilho de segurança. Como resultado, o fracasso total do comportamento da IA pode ir além da linguagem. Ele chama isso de exposição silenciosa à inteligência artificial. Nem a seguradora nem o segurado sabem antecipadamente se uma falha de IA está coberta.
A saúde reside no plano ciberfísico
O risco aumenta à medida que a autonomia aumenta e Zhu organiza o campo como um continuum. Na extremidade inferior estão ferramentas utilitárias que geram apenas texto. No meio estão os copilotos que chamam APIs e preparam ações para aprovação humana. Ainda mais acima estão os agentes autônomos, que além disso realizam transações e alteram sistemas por si próprios. No topo estão os agentes ciberfísicos cujas ações alcançam o mundo físico. Robótica, dispositivos médicos, controle predial e infraestrutura relacionada se enquadram neste nível.
Este nível superior é onde funciona grande parte dos cuidados de saúde. Um sistema de IA integrado em bombas de infusão ou equipamentos de imagem arrisca mais do que uma resposta errada. Em vez disso, corre o risco de lesões físicas e danos materiais. A responsabilidade geral e a responsabilidade pelo produto foram criadas para danos pessoais. Como resultado, eles não são adequados quando a causa é uma saída digital defeituosa. A extensão ciberfísica da política cibernética ainda tende a exigir um ataque cibernético como gatilho. Isso deixa o bug da IA sem avanço sem solução. Cada política cobre parte do quadro, embora ninguém seja claramente o dono de tudo.
O mesmo modelo pode apresentar baixo risco em uma implantação e alto risco em outra. Por esta razão, Zhu acredita que a autoridade delegada, e não a tecnologia em si, deve determinar como o risco é avaliado. Um pesquisador associado com vários níveis de aprovação não se parece com um agente de atendimento ao cliente autorizado a transferir dinheiro. As perguntas de assinatura a seguir podem incluir: O que o agente pode fazer sem confirmação humana, quais sistemas ele pode modificar e quais portas e logs ele gerencia?
O que os sistemas de saúde podem fazer agora
A prescrição de Zhu se concentra em fechar o silêncio antes que chegue uma reclamação. A cobertura do comportamento da IA deve ser escrita de forma assertiva, com gatilhos explícitos, exceções claras e agregados separados. Além disso, essa estrutura evita que a IA perdida use silenciosamente todo o limite cibernético. Eventos mistos levantam uma questão mais difícil quando uma violação, uma falha de serviço e uma ação de IA se sobrepõem. Aqui, regras de alocação pré-determinadas decidem qual cobertura corresponde. Caso contrário, o assunto entra em disputa após uma perda. Os produtos coordenados que agora chegam ao mercado combinam erros e omissões cibernéticos, tecnológicos e auto-responsabilidade pela IA sob um único conjunto de regras.
A evidência é a outra metade da equação. Zhu enfatiza que arquivos de log, rastreamentos de instrumentos, histórico de modelos e versões, registros de aprovação e histórico de devoluções geralmente determinam a causa após uma perda. Sem esta telemetria, no entanto, recuperar o que um agente fez torna-se quase impossível. Uma reclamação pode então basear-se na questão básica do que aconteceu. Para os sistemas de saúde, isto reflete uma disciplina que já conhecem da gestão de dispositivos e dos EHR. Instrumente o sistema, mantenha registros e saiba o que cada instrumento está autorizado a fazer.
Leve embora
- Mapeie cada implementação de IA por nível de autonomia. A autoridade que o agente possui, e não o modelo por trás dele, determina tanto as probabilidades quanto o valor da perda.
- Trate as falhas de IA não inovadoras como uma exposição verdadeira. Alucinações, injeção rápida e desvio de modelo podem causar perdas sem intervenção, e as formas cibernéticas padrão podem não responder.
- Pergunte se o comportamento da IA é coberto afirmativamente. A exposição silenciosa deixa ambos os lados em dúvida; gatilhos explícitos e agregados separados removem a ambiguidade.
- Clique para ver regras de alocação de eventos mistos. Quando a violação, a negação de serviço e a ação da IA se sobrepõem, uma alocação predefinida decide qual política compensa.
- Mantenha o rastro de evidências. Arquivos de log, registros de modelo e versão, histórico de aprovação e dados de reversão geralmente decidem se uma solicitação será bem-sucedida.
O nível ciberfísico é onde os riscos aumentam mais rapidamente. Zhu aconselha os sistemas de saúde a gerirem a incerteza de frente, em vez de esperarem pela perda de dados que podem nunca chegar a tempo. Qualquer sistema pode começar agora definindo o que seus agentes podem fazer e documentando o que eles realmente fizeram.
