A inteligência artificial dos prestadores que nunca aparece num contrato é a exposição aos contratos públicos que os reguladores europeus destacaram este mês, e a distinção aplica-se directamente aos sistemas de saúde dos EUA. O Agência da União Europeia para a Cibersegurança postado atualizado diretrizes para contratos públicos para hospitais e prestadores de cuidados de saúde em julho. A maior parte do documento está em conformidade com os regulamentos europeus, mas uma secção é bem traduzida. O risco da IA, disse a agência, estende-se a produtos anteriores que o fornecedor comercializou como habilitados para IA.
A razão é que a funcionalidade de IA pode estar completamente incorporada em outro produto ou pode ser acessada por meio de uma interface de terceiros que o comprador nunca apreciou. Um fornecedor ou subcontratado também pode usá-lo discretamente durante o desenvolvimento de software, suporte técnico, testes de segurança ou análise de dados. Nenhum desses usos surge necessariamente durante uma verificação de segurança padrão. Como resultado, a agência instruiu as organizações de saúde a determinar se e como a IA é incorporada na cadeia de abastecimento. Esta determinação deve continuar após a adjudicação do contrato e após qualquer alteração subsequente no serviço.
Assim, um fornecedor sem IA em sua pilha de assinaturas pode adicioná-la durante uma atualização de rotina do produto, e nada no acordo convencional exige divulgação.
A orientação é consultiva e a sua força jurídica provém de quadros europeus que não têm força nos Estados Unidos. Para um CIO ou CISO americano, o valor está inteiramente na lista de verificação.
Divulgações contratuais obrigatórias
A ENISA especificou que documentação de aquisição os fornecedores devem ser obrigados a divulgar. A lista é mais longa do que a maioria dos plug-ins de IA de sistemas de saúde capturam atualmente. Abrange a finalidade e o escopo da funcionalidade da IA, o provedor de IA e o modelo de implementação, os arranjos de processamento de dados e as categorias de dados processados. Abrange também disposições de armazenamento e retenção, subprocessadores, medidas de supervisão humana e capacidades de registo. O último elemento requer notificação quando algo material muda no sistema de IA ou em suas atividades de processamento.
Dois itens da lista normalmente não são solicitados durante uma avaliação padrão do fornecedor. Os subprocessadores são importantes porque o provedor de IA do provedor pode encaminhar dados por conta própria através de outros países, e cada salto multiplica as organizações que possuem informações dos pacientes. A capacidade de registrar é importante porque uma função de IA sem trilhas de auditoria não pode ser investigada após um incidente.
Separadamente, a agência voltou-se para o treinamento de modelos. Sempre que os dados dos clientes possam alimentar o desenvolvimento ou a melhoria de modelos de IA, os fornecedores devem identificar as finalidades do tratamento e a base jurídica. A orientação também afirma que informações confidenciais de saúde, pessoais, de segurança ou de infraestrutura devem permanecer fora de serviços externos de IA sem permissão expressa. Esta autorização deverá seguir-se a avaliações jurídicas, avaliações de proteção de dados, avaliações de segurança cibernética e avaliações de riscos clínicos.
O que acontece na rescisão
O material mais forte para o público do fornecedor é encontrado nas disposições de saída, que também é a parte que a maioria dos acordos de IA cumpre mal.
Os contratos devem especificar obrigações de devolução e exclusão de dados após a rescisão que vão além dos registros óbvios, de acordo com as diretrizes. A agência nomeou entradas de usuários geradas por resultados de IA, arquivos de log e outros dados extraídos. Sua medida de descomissionamento foi além, estendendo a inspeção a prompts, uploads, incorporações e ajuste fino de conjuntos de dados. A confirmação do que é retido e do que é eliminado pertence à mesma cláusula.
A incorporação e o ajuste fino dos conjuntos de dados são os elementos a serem observados. Um provedor pode retornar qualquer registro de paciente recebido e ainda manter um modelo formado a partir desses dados. Uma linguagem de exclusão padrão escrita para um banco de dados fica aquém de uma representação numérica derivada de um texto clínico. Um sistema de saúde que nunca solicitou estes itens nominalmente não tem qualquer direito contratual uma vez terminado o relacionamento.
Onde o manual é apropriado
O documento da ENISA chega com trabalhos de casa que cobrem território semelhante. O Conselho Coordenador do Sector da Saúde publica um guia de risco e transparência da cadeia de suprimentos de terceiros em abril, e este recurso inclui exemplos de linguagem contratual e questionários de avaliação. Ana Estrutura de gerenciamento de segurança cibernética de IA seguido em junho. Health-ISAC insistiu em cronogramas de patches de fornecedores e gerenciamento de acesso de terceiros na mesma seção (veja link abaixo).
Leve embora
- Pergunte se a IA está incluída antes de assinar e novamente após qualquer alteração material no produto.
- Requisito de divulgação do fornecedor de IA, modelo de implementação, subprocessadores e capacidade de registro.
- Proibição de uso de dados organizacionais para treinamento de modelo sem permissão expressa por escrito.
- Incorpore nomes, ajuste fino de conjuntos de dados, prompts e saídas em cláusulas de exclusão.
- Exija confirmação por escrito do que foi excluído e do que foi retido após a rescisão.
O documento europeu acrescenta duas contribuições a este trabalho. Trata a divulgação de IA como uma obrigação contínua que sobrevive à data de assinatura e nomeia elementos derivados que sobrevivem à rescisão do contrato. Ambos os pontos são fáceis de anotar e difíceis de negociar depois do fato.
