Gina Neff, diretora do Centro Minderoo para Tecnologia e Democracia da Universidade de Cambridge, disse ao programa Today da BBC Radio 4 que os testes de segurança, conhecidos como sandboxes, “devem ser ambientes seguros onde você possa ver do que o modelo é capaz”.
“Neste caso, parece que a OpenAI não criou uma sandbox suficientemente segura”, acrescentou ela.
Em vez disso, os agentes lançaram um ataque cibernético à própria sandbox, descobrindo uma vulnerabilidade que lhes permitiu escapar das restrições.
Uma vez fora, a IA identifica o Hugface como uma possível fonte das respostas que procuram no teste e tenta obter acesso.
Neil Lawrence, professor de aprendizado de máquina da Universidade de Cambridge, chamou isso de “façanha impressionante”, mas alertou que estava “bem dentro das capacidades conhecidas da geração atual” de modelos de IA de alto desempenho.
Ele observou que a OpenAI está tentando abrir o capital e enfrenta intensa pressão da rival Anthropic, que ganhou as manchetes com sua própria poderosa ferramenta de inteligência artificial, a Mythos.
“A OpenAI está agora se atualizando e tentando demonstrar o que seus sistemas podem fazer em termos de segurança cibernética.”
“Isso nos mostra que a OpenAI não tem a capacidade de implantar sua própria tecnologia com segurança”, acrescentou.
em seu O incidente de hacking foi divulgado pela primeira vez em 16 de julho, externoA Hugging Face disse que ainda está avaliando se algum dado de cliente ou parceiro foi afetado e entrará em contato com as partes afetadas, se necessário.
A empresa disse que já corrigiu as vulnerabilidades destacadas pelo incidente e reconstruiu os sistemas afetados.
“Ferramentas ofensivas autônomas e baseadas em IA não são mais teóricas”, afirmou.
“Defender-se contra plataformas online agora significa tratar dados e superfícies de modelos como as melhores superfícies de ataque e usar IA na defesa para acompanhar o ritmo.
“Continuaremos a investir lá e a compartilhar o que aprendemos.”
