Siga ZDNET: Adicione-nos como fonte preferencial no Google.
Principais vantagens do ZDNET
- Encontre um equilíbrio entre o controle e a independência do agente de IA.
- O design dos agentes deve incluir contexto e intenção.
- Considere as configurações e os dados que os agentes acessam.
Os agentes de IA estão evoluindo de simples chatbots para trabalhadores digitais completos, capacitados para agir em aplicações e dados. E com esses recursos vem uma série de problemas de segurança e gerenciamento.
Trate seus agentes de IA como estagiários ansiosos, mas falíveis, que precisam da mesma supervisão e orientação que os estagiários, sugeriram especialistas em um painel realizado no recente Snowflake Summit em São Francisco. Os agentes de IA requerem instruções específicas e supervisão rigorosa por parte de gestores humanos.
Além de criar melhores agentes de IA para o seu negócio sem criar problemas de confiança
Um agente sem limites pode ser extremamente problemático, concordaram os painelistas que representam provedores de segurança de IA. “Você pode pedir a um agente que compre um par de sapatos e, antes que você perceba, ele compre um carro para você”, disse Mayank Agarwal, fundador e CTO da Resolve AI.
Limitação, contexto e propósito
“Você tem que pensar com muito cuidado sobre quais permissões você dá ao agente. Você não pode simplesmente esperar que o agente permaneça no caminho certo. Você tem que colocar essas restrições rígidas em vigor para limitar suas capacidades.”
Juntamente com a contenção, o contexto e a intenção são palavras-chave importantes para criar e gerenciar agentes. “Não basta apenas saber para que esse agente foi criado. Você também precisa saber coisas como sob que autoridade ele está sendo executado e o que fará com os dados que está acessando, por exemplo”, disse Nancy Wang, CTO da 1Password.
Além disso, o que você paga pelos agentes de IA será altamente variável e imprevisível
Os profissionais deveriam descartar o antigo livro de regras de desenvolvimento de software porque construir e implantar agentes hoje é muito diferente das práticas de software do passado recente, disse Agarwal.
“Se você voltar apenas dois anos, o engenheiro sabia exatamente como iriam conectar APIs em diferentes sistemas”, disse ele. “A coisa toda era muito previsível: A chamará a API B, B fará isso com esses dados e C fará isso com esses dados. No mundo dos agentes, isso é completamente imprevisível.
Essa abordagem pode criar novos tipos de problemas para os quais profissionais e gestores não estão preparados. O agente “conversa com ferramentas que podem realizar ações em seu nome, então você não sabe se essas ferramentas estão exfiltrando dados”, disse Agarwal. “Um agente pode ler uma ferramenta e usar outra ferramenta para escrevê-la onde não deveria.”
Fantasma da Sombra AI
Essa preocupação vem da IA sombria que opera fora da vista. “Tínhamos um cliente que tinha 12 instâncias do OpenClaw com acesso a fluxos de API, código-fonte e um fornecedor que usava o Telegram para se comunicar”, disse Jason Merrick, vice-presidente sênior de produtos da Tenable. “O que poderia dar errado, certo?”
Também: Agentes de IA do caos? Nova pesquisa mostra como bots conversando com bots podem rapidamente ir para o lado
Como resultado destas questões, pode ser um desafio compreender o que os agentes estão a fazer nos bastidores. Surgirão questões como “Quem realmente atacou este sistema? É um ser humano? É uma conta de serviço? É um agente?” Wang disse. “Sua equipe provavelmente não sabe ou não tem 100% de certeza sobre essa resposta. Porque hoje os agentes parecem pessoas, mas também podem parecer uma conta de serviço porque têm todas as suas permissões.”
Portanto, deve ser encontrado um equilíbrio entre governação e acesso, uma vez que a IA é uma ferramenta poderosa para a produtividade e a inovação que deve ser capaz de funcionar de forma independente. “Você não quer apenas bloquear tudo ou proteger tudo”, aconselhou Wang.
Esta necessidade de equilíbrio também explica porque é que a supervisão humana profunda é essencial. “Veja as partes do usuário que os funcionários criam usando o Copilot, Claude Chat ou Gemini”, sugeriu Merrick. “Observe as configurações deles. A IA está mal configurada? Que tipo de dados ela está acessando? E sendo capaz de agir de acordo com eles. Observe também os próprios prompts. Com quais prompts eles estão se comunicando?”
Resumindo: instruções especiais
Wang disse que as proteções e as melhores práticas de identidade tradicional são muito importantes nesta área. O maior risco será um “agente que tenha permissões excessivas com credenciais longas”.
Também: Um iniciante pode realmente codificar um aplicativo? Eu tentei cursor e replicar para descobrir
O desafio é criar segurança e governação em torno de “entidades não determinísticas”, continuou Wang. “É uma questão de permitir que eles sejam criativos, mas também usem conjuntos de instruções essencialmente tradicionais no formato SDK. Você quer controles previsíveis, mas também não quer limitá-los tanto a ponto de não aumentar mais a produtividade.”
O principal aspecto que os profissionais devem observar é que os agentes, assim como os estagiários, precisam de “instruções muito, muito específicas”, disse Wang. “Às vezes, eles ainda saem do caminho. Esteja você pensando em agentes líderes ou no rastreamento completo do agente, há total visibilidade, recompensas e garantia de que você definiu a intenção certa desde o início – e essa intenção precisa permanecer em cada passo, em cada ação que um agente realiza.”
