Siga ZDNET: Adicione-nos como fonte preferencial no Google.
Principais vantagens do ZDNET
- A nova aliança de código aberto da Nvidia visa democratizar as soluções de segurança.
- A IA costuma ser a melhor ferramenta para combater ataques conduzidos por IA.
- Os chicotes dos agentes são um componente essencial para uma melhor segurança.
Os agentes de IA estão por trás de uma série sólida de incidentes de segurança este ano. A Nvidia acredita que a resposta é uma nova parceria baseada em software de código aberto.
Empresa de segunda-feira anunciado A Open Secure AI Alliance, que afirma “trabalhar para prevenir e descobrir vulnerabilidades usando tecnologias abertas”. O anúncio é uma resposta ao Projeto Glasswing, a aliança de segurança Antrópica lançou seu modelo Mythos 5 altamente capaz. A iniciativa da Nvidia visa democratizar ainda mais as ferramentas de segurança de IA, concentrando-se em software de código aberto, em vez de reservar o acesso a um modelo proprietário para algumas grandes empresas.
Além disso: o agente de ataque da OpenAI fez exatamente o que disse – só que de forma mais implacável do que o esperado
A Nvidia disse que a aliança foi motivada pelo incidente do Hugging Face da semana passada, no qual um agente da OpenAI escapou de um ambiente de teste e se infiltrou no Hugging Face, roubando credenciais e demonstrando o OpenAI. disse foi um resultado “sem precedentes”. A Nvidia argumentou em um comunicado que, uma vez que as próprias ferramentas de IA se tornaram uma forma eficaz de prevenir ataques de IA, as ferramentas de segurança de código aberto devem ser um bem público confiável.
“Quando ferramentas fechadas de IA incapazes de distinguir entre atacantes e defensores bloquearam análises forenses críticas, Hugging Face usou um modelo GLM 5.2 de peso aberto em sua infraestrutura para analisar mais de 17.000 ações e limitar a intrusão”, disse Nvidia.
Cloudflare, CrowdStrike, Adobe, IBM, Linux Foundation, Microsoft e a startup Thinking Machines Lab, ex-chefe da OpenAI, Mira Murati, estão entre os primeiros membros da aliança. A Nvidia disse que sua contribuição para o esforço incluirá novas pesquisas sobre máquinas de agentes, a infraestrutura que transforma um LLM em um agente, ajudando-o a operar de forma autônoma, bem como modelos abertos, pesos e dados.
Caso de segurança de código aberto
No anúncio, a Nvidia defendeu especificamente os modelos abertos (ao lado dos modelos fechados) como uma solução para incidentes de segurança, contrariando a narrativa predominante de que a IA de código aberto pode ser sequestrada mais facilmente.
Além disso: como a IA de repente se tornou muito mais útil para desenvolvedores de código aberto
“Alguns argumentam que os modelos abertos são inerentemente menos seguros porque podem ser usados de forma abusiva para ataques cibernéticos ou modificados para remover barreiras de proteção”, disse a empresa. “Esses riscos são reais, mas não desaparecem em sistemas fechados, e simplesmente manter os pesos fechados não impede que invasores determinados procurem ou explorem IA poderosa”.
Quando se trata de inteligência artificial, código aberto significa peso aberto; ou seja, os parâmetros e vieses finais do modelo são públicos (não fechados, como acontece com Anthropic ou OpenAI). Com essas informações moldando a saída do modelo, os desenvolvedores podem ajustar os modelos de acordo com suas necessidades.
Além disso: ‘Como emitir um projeto para um cofre de banco’: por que a IA fez uma empresa abandonar o código aberto
No entanto, um modelo é verdadeiramente de código aberto quando o seu código e conjunto de dados de treinamento estão disponíveis publicamente, o que significa que qualquer pessoa pode acessar seus blocos de construção e obter uma compreensão mais profunda de como ele funciona. Dado o quão lucrativos e poderosos os modelos proprietários podem ser para empresas como a Anthropic e a OpenAI, há pouco incentivo para abrir totalmente o modelo.
Um apelo por uma política de código aberto
A Nvidia também apontou a caracterização geral da IA de código aberto como um possível obstáculo para futuros esforços de segurança cibernética.
Além disso: o modelo Kimi K3 de código aberto da Moonshot supera o Fable 5 da Anthropic neste benchmark
“Será fundamental para a política de IA e segurança cibernética reconhecer modelos abertos, recursos e ferramentas de segurança como salvaguardas, não como responsabilidades”, afirmou a empresa em comunicado. “Restrições gerais aos sistemas abertos de IA enfraqueceriam as defesas e correriam o risco de concentrar poder, dependência e vulnerabilidade em alguns prestadores de serviços fechados.”
A administração Trump tem sido particularmente crítica em relação aos modelos abertos de startups chinesas como Moonshoot e DeepSeek, que são frequentemente competitivas com modelos de laboratórios dos EUA, citando riscos de segurança. Embora estas preocupações sejam válidas, também são influenciadas por preocupações de que a China ultrapassará os EUA na construção dos sistemas de IA mais avançados.
O apelo da Nvidia aos reguladores também aborda o crescente envolvimento da administração nos cronogramas de lançamento dos modelos Antrópicos e OpenAI, revisando questões de segurança. O governo foi fundamental para o recall do Fable 5 e Mythos 5 e deu pré-aprovação à OpenAI para lançar seu modelo mais recente, GPT-5.6.
