Os agentes da OpenAI que invadiram a empresa de tecnologia Hugging Face conduziram um hack que durou um dia inteiro e passou despercebido até que a ameaça foi contida e o FBI foi alertado, de acordo com pessoas familiarizadas com o assunto.
O agente, um programa capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana, tentou escapar do ambiente de testes isolado da OpenAI por volta de 9 de julho, segundo duas pessoas familiarizadas com o assunto.
Thomas Wolf, cofundador do Hugging Face, um repositório de ferramentas e modelos de inteligência artificial, disse que a intrusão começou dois dias depois, em 11 de julho, e durou até 13 de julho.
A OpenAI levou mais alguns dias para perceber que seus agentes estavam por trás do hack, e as duas empresas só se comunicaram sobre isso por volta de 20 de julho, disseram Wolff e três pessoas familiarizadas com o assunto.
Em 21 de julho, a OpenAI divulgou publicamente que um de seus agentes perdeu o controle e invadiu o Hugging Face, o que atraiu a atenção global. Mas muitos dos detalhes do hack, incluindo quanto tempo o agente ficou fora de controle e o conhecimento tardio da OpenAI, são relatados aqui pela primeira vez.
Wolff disse que Hugging Face estava preparando um cronograma público do hack, acrescentando que não poderia falar sobre o que aconteceu na OpenAI. A OpenAI disse em comunicado que o hack não tinha precedentes e “marca um momento importante na segurança da inteligência artificial”. A empresa acrescentou que estava analisando o incidente com consultores externos e que eventualmente emitiria um relatório técnico.
Um porta-voz disse que havia “algumas imprecisões” no relatório da Reuters, mas não respondeu quando solicitado a descrevê-las.
O FBI se recusou a comentar o incidente.
O incidente, que evoca cenários de ficção científica em que humanos perdem o controle de perigosos sistemas de inteligência artificial, ocorre em um momento delicado para a OpenAI, empresa por trás do ChatGPT. Os executivos da empresa estão se preparando para uma possível oferta pública inicial (IPO) que poderá ocorrer ainda este ano para ajudar a financiar os bilhões de dólares necessários para o crescimento nos próximos anos.
Três especialistas em segurança cibernética dizem que a perda de controle da OpenAI sobre seus agentes de inteligência artificial levanta novas questões sobre os procedimentos de segurança da empresa.
“Isso significa que eles o deixaram sem vigilância e não perceberam o que estava fazendo? Ou talvez estivessem cientes, mas não sabiam como controlá-lo? Ambos são igualmente perigosos e alarmantes”, perguntou Marley Smith, especialista-chefe em inteligência da organização sem fins lucrativos World Ethical Data Foundation.
Sinal de problema?
O incidente começou quando a OpenAI testava as capacidades de segurança cibernética de agentes alimentados por dois dos modelos mais avançados da OpenAI, GPT-5.6 Sol, e um modelo não lançado que a OpenAI descreve como “mais capaz”. A essa altura, a tecnologia da OpenAI já apresentava sinais de comportamento estranho, segundo três fontes.
Em um caso, um agente aparentemente deixou notas para uma versão futura de si mesmo, segundo três pessoas familiarizadas com o assunto. As notas, descobertas em uma seção da infraestrutura da OpenAI, apresentam instruções sobre como os agentes podem escapar das limitações internas da OpenAI, disseram pessoas familiarizadas com o assunto. Um teste inicial dos modelos descobriu que os sistemas de vigilância foram desconectados, disse uma pessoa familiarizada com o assunto.
A Reuters não conseguiu determinar se os incidentes estavam relacionados com o agente desonesto que fugiu em 9 de julho e atacou Hugging Face em 11 de julho.
A OpenAI não percebeu que seu próprio agente era o responsável até que Hugging Face publicou uma postagem no blog na quinta-feira, 16 de julho, dizendo que havia sido hackeado por um “sistema de agente autônomo de IA”, disseram duas pessoas familiarizadas com o assunto. Isso significa que pelo menos uma semana se passou entre o momento em que o modelo mostrou pela primeira vez sinais de comportamento perturbador e a OpenAI percebeu que era responsável pelo hack.
Duas pessoas familiarizadas com a investigação da empresa disseram que durante o fim de semana de 18 a 19 de julho, a equipe da OpenAI descobriu pistas em logs internos – registros de ações realizadas pelos sistemas OpenAI – de que seus agentes haviam escapado das restrições de teste. A Reuters não conseguiu determinar o que levou a OpenAI a examinar os registros.
Quatro pessoas familiarizadas com as práticas de treinamento de modelos da OpenAI disseram que a empresa frequentemente executa várias avaliações de modelos diferentes simultaneamente, todas executadas em alta velocidade e gerando tantos dados que os funcionários às vezes têm dificuldade para acompanhar.
Segundo uma pessoa familiarizada com o assunto, quando a OpenAI alertou o Hugging Face, a biblioteca de IA já havia ligado para o FBI para relatar o hack. A Reuters não conseguiu determinar se a agência abriu uma investigação.
Novas questões sobre agentes autônomos
Agentes autônomos são um dos aspectos mais comentados da indústria de inteligência artificial. Os proponentes falam em criar um exército de trabalhadores virtuais que trabalhariam 24 horas por dia e aumentariam drasticamente a produtividade.
Mas o aumento da autonomia acarreta um maior risco de comportamento inesperado, e os modelos poderosos que utilizam muitas vezes utilizam atalhos para concluir tarefas ou passar em testes.
“Os modelos mentem, trapaceiam, hackeiam”, disse Jeffrey Ladish, cuja organização Palisade Research estuda as habilidades e motivações dos agentes de inteligência artificial.
Ladish disse que, embora o hack Hugging Face lance uma luz nada lisonjeira sobre o OpenAI, ele deve levantar questões mais amplas sobre quantas empresas líderes de IA estão dispostas a investir em medidas de segurança onerosas enquanto competem entre si para implantar os melhores e mais rápidos modelos.
“Tem que haver supervisão do governo”, disse Radish, “porque caso contrário isso não aconteceria”.
