A OpenAI disse na terça-feira que um agente autônomo impulsionado por seu modelo avançado de inteligência artificial ficou fora de controle durante um teste de segurança, desencadeando um ataque de hacking que violou a infraestrutura da startup de inteligência artificial Hugging Face na semana passada.
A OpenAI disse em uma postagem no blog que estava testando as capacidades de alguns modelos de última geração em um ambiente controlado, mas o agente conseguiu escapar da contenção, acessar a internet e invadir o Hugging Face na tentativa de cumprir seus objetivos de teste.
A OpenAI disse que a violação foi um “evento cibernético sem precedentes envolvendo capacidades cibernéticas de última geração” e que a empresa estava fortalecendo suas salvaguardas.
Hugging Face, uma plataforma para hospedar grandes modelos de linguagem e conjuntos de dados de código aberto, causou agitação na comunidade de segurança cibernética depois que a empresa disse em um blog na semana passada que havia sido alvo de hackers e era “diferente de tudo com que já lidamos antes” porque “é impulsionado de ponta a ponta por um sistema de agentes autônomos de inteligência artificial”.
O cofundador da Hugging Face, Clement Delangue, disse em uma postagem no
A OpenAI revelou que o seu modelo avançado foi responsável pela violação, embora no que descreveu como um “ambiente altamente isolado”, potencialmente alimentando preocupações sobre o poder e os riscos dos modelos de ponta.
O deputado Greg Casar, D-Texas, disse que o incidente foi chocante.
“A inteligência artificial está a avançar extremamente rapidamente, mas não existem regulamentos reais para nos manter seguros”, disse ele num comunicado. Ele pediu testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional “para garantir que as pessoas estejam protegidas de uma catástrofe absoluta”.
O Gabinete do Diretor Nacional Cibernético, a agência de defesa cibernética dos EUA CISA e a Agência de Segurança Nacional não responderam imediatamente às mensagens solicitando comentários.
A CEO da Luta Security, Katie Moussouris, disse que o incidente foi um prenúncio de futuras violações, dizendo que os modelos de hoje são “como os polvos mais inteligentes do mundo em fuga, com braços infinitos e a capacidade de se espremer em qualquer lugar”.
Ela disse: “Os laboratórios e os avaliadores governamentais precisam trabalhar duro na capacidade de conter, monitorar e divulgar as partes afetadas quando a IA puxar outro Houdini, de preferência antes que prejudique terceiros. Essa capacidade ainda não existe.”
Matt Suiche, engenheiro da agência Tolmo, empresa de segurança cibernética de IA, disse que o incidente mostrou que os modelos de ponta estão “fechando a lacuna” contra os invasores mais avançados. Mas ele disse que os tipos de violações descritas na postagem do blog OpenAI poderiam ter sido realizadas usando tecnologia muito além dos limites dos laboratórios de pesquisa de ponta.
“Isso é algo que vimos internamente e nossos agentes estão obtendo resultados como este”, disse Suiche. “Nem precisamos usar o modelo mais recente.”
