Paguei aos agentes Copilot de ponta da Microsoft para fazerem seu trabalho – eles certamente eram ruins nisso

Siga ZDNET: Adicione-nos como fonte preferencial no Google.

Principais vantagens do ZDNET

• Os agentes copiloto são projetados para auxiliar na pesquisa e análise.
• Nos meus testes, esses remédios não forneceram resultados úteis.
• A solução de problemas com o Copilot desperdiçou tempo e não resolveu nada.

A Microsoft está gastando uma quantia absurda de dinheiro em seus recursos de IA, construindo data centers e licenciando grandes modelos de linguagem OpenAI, Anthropic e outros, ao mesmo tempo que tenta construir suas próprias alternativas internas.

O objetivo, retirado diretamente do topo do organograma de Redmond, é transformar a combinação do Windows e do Microsoft 365 em um “sistema operacional de agente” capaz de executar as tarefas que tornam a vida corporativa miserável: escrever memorandos, criar apresentações, organizar reuniões e automatizar tarefas diárias.

Além disso: Work IQ é a grande aposta da Microsoft na TI corporativa que prioriza o agente, e tenho dúvidas

Mas esses investimentos estão valendo a pena? Os desenvolvedores parecem geralmente satisfeitos com os ganhos de produtividade obtidos com ferramentas como Claude Code e GitHub Copilot, mas os agentes de negócios não parecem tão competentes.

Nas últimas semanas, tenho tentado usar recursos de IA no Microsoft 365 e no Windows para várias tarefas diárias de trabalho. O copiloto mostra lampejos ocasionais de competência, mas na maioria das vezes os resultados que vejo são uma mistura de desinformação, alucinações e becos sem saída que desperdiçam tempo.

Deixe-me compartilhar minha experiência recente com você.

“Sinto muito, Ed, não posso fazer isso”

A Microsoft vem me pressionando há meses para atualizar para seu novo plano Microsoft 365 Premium, que inclui limites mais altos de uso de IA e alguns agentes exclusivos. No interesse da ciência, paguei US$ 10 para atualizar uma conta não utilizada por um mês para que pudesse testá-las sozinho.

Comecei com o agente Analista, fornecendo-lhe uma cópia da planilha que utilizo para monitorar nossas receitas e despesas domésticas e pedindo ajuda para melhorar seu design. Após alguma discussão sobre o que eu estava tentando realizar, ele ofereceu algumas sugestões úteis para tornar as fórmulas mais robustas, consolidando algumas tabelas duplicadas e eliminando algumas páginas redundantes, e concluiu com uma sugestão ousada de criar um painel usando apenas fórmulas e tabelas dinâmicas.

Também: AI Model Release Tracker: o primeiro modelo de raciocínio da Microsoft AI está disponível

“Se você quiser”, disse-me o copiloto, “posso esboçar um layout limpo do painel (células e seções precisas) adaptado aos seus dados para que você possa construí-lo em cerca de 15 minutos.”

Eu… acho que os agentes deveriam fazer esse trabalho para mim? Então perguntei: “Você pode criar o arquivo Excel real para mim ou devo fazer isso sozinho?”

Claro que me contou. Havia apenas uma pequena limitação: eu mesmo tive que criar uma das curvas, mas esse trabalho levaria menos de 10 segundos.

Vá em frente, eu disse.

Depois de um ou dois minutos, o Copilot me disse: “Criei sua pasta de trabalho modificada. Baixe-a aqui”. Em seguida, ele me deu um link para (sandbox:/mnt/data/Personal_accounts_modified.xlsm). Esse é o link exato, parênteses e tudo. Não era clicável.

Uma caixa de areia? O que…? “Sim, isso depende de mim”, admitiu o Copiloto. “Este ‘caminho sandbox’ não é realmente clicável em sua interface, então você não pode baixá-lo. Obrigado por divulgá-lo. … Vou gerar o arquivo e garantir que ele apareça no bate-papo como um anexo real para download (para que você veja um mapa de arquivo clicável em vez de um caminho).”

Também: O primeiro modelo de raciocínio da Microsoft é um dos 7 IAs recém-lançados no Build – o que sabemos até agora

Após diversas tentativas, o Copiloto desistiu. “O arquivo está pronto. No entanto, preciso ser transparente: sua interface de bate-papo não está sendo renderizada no momento anexos de arquivos para download certo (é por isso que você costumava ver aqueles caminhos de “sandbox” inutilizáveis). meu fez gerar o arquivo com sucesso, mas ele não aparece como um download clicável na sua UI.”

O chatbot explicou que o link do arquivo poderia ter funcionado se eu tivesse usado o ChatGPT. E uma das soluções sugeridas pelo agente foi esta crie um arquivo no Planilhas Google e me mande o link! De alguma forma, não creio que os gerentes de produto de Redmond tivessem isso em mente. (Por favor, não conte a Satya.)

Também: A visualização do Microsoft MDASH está disponível com mais de 100 agentes especializados de IA para detecção de ameaças

Veredicto: Tenho algumas boas ideias para melhorar minha pasta de trabalho, mas o agente Copilot, que deveria trabalhar diretamente com o Excel, na verdade não pode fazer o trabalho para mim.

“Que plano específico você tem em mente?”

Em seguida, pedi a um agente pesquisador do Microsoft 365 Premium que me desse uma breve explicação sobre os prós e os contras do Microsoft 365 Premium. Eu não estava pronto para a resposta:

Para ter certeza de que cubro exatamente o que você precisa: Qual plano específico você entende por “Microsoft 365 Premium”? A) Microsoft 365 Personal, B) Microsoft 365 Family, C) Microsoft 365 Business Premium ou D) Compare os planos de consumo (Pessoal/Família) e verifique brevemente Business Premium apenas se aplicável.

Para ser claro, eu estava trabalhando com um dos recursos exclusivos do produto altamente elogiado da Microsoft e ele não tinha ideia do que estava falando. Imagine que você está entrevistando um candidato a emprego e diz: “Fale-me sobre você”, e ele responde “Eu não o conheço.”

Quando ofereci um link para a página do produto, o Copilot me deu um resumo bastante anódino dos recursos da nova assinatura, compilado de algumas fontes de terceiros. Eu não chamaria isso de pesquisa e certamente não foi profundo.

“Por que tenho certeza de que é o caminho certo”

O que acho mais divertido nos chatbots de IA é que eles confiam muito em suas respostas. E se você apontar que as instruções que eles acabaram de lhe dar não funcionaram, essa confiança nunca desaparece à medida que novas opções são sugeridas.

Esta manhã tentei conectar-me a um computador na rede do meu escritório usando o cliente de área de trabalho remota, mas recebi um erro de certificado: “O nome do servidor no certificado está incorreto”.

Também: Como a Microsoft destruiu as barreiras de segurança em modelos populares de IA – com apenas um prompt

Depois de alguns minutos solucionando problemas por conta própria, decidi que era hora de tentar “vibe-sysadmin” para consertar com o Copilot.

“A solução é simples”, respondeu Copilot com confiança. Tudo o que precisei fazer foi forçar a máquina virtual do Windows a gerar um novo certificado de área de trabalho remota. “Aqui estão maneiras limpas e confiáveis ​​de fazer isso.”

Não funcionou. O copiloto me disse que esse resultado era significativo e citou três razões possíveis, concluindo com “Vamos consertar isso de forma limpa e cirúrgica”.

Após vários comandos do PowerShell e uma reinicialização, ainda não consegui me conectar, mas desta vez foi devido a um erro de certificado diferente.

“Oh, isso me diz exatamente o que está acontecendo agora”, disse o Copiloto. Depois de outra longa explicação, ele disse: “Vamos esclarecer isso”.

Também: Deixei o novo recurso de IA do Microsoft Edge ler todas as minhas guias abertas – e isso economiza muito tempo de pesquisa

Isso durou cerca de 20 minutos e meia dúzia de reinicializações desta VM. A cada falha, o Copilot experimentava outra pequena epifania de IA.

• “Este erro me diz algo muito específico…”
• “Você acabou de descobrir o verdadeiro motivo…”
• “Chegamos a um cenário em que o Windows não será comporte-se conforme especificado na documentação…”
• “E isso explica tudo tudo você viu…”

Eles foram acompanhados por manchetes ousadas como “Por que estou convencido de que é o caminho certo”, “Por que é a solução certa” e “Por que é a única explicação que resta”.

Nenhuma das soluções sugeridas funcionou, então disse ao Copilot para calar a boca. Verifiquei novamente as configurações de conexão e desmarquei uma caixa de seleção de configurações de conexão. Isso resolveu.

Para ser justo, aprendi alguns comandos do PowerShell para gerenciamento de certificados e também fiz um curso de atualização sobre como o Windows gerencia certificados. Mas a lição que aprendi não é pedir ao Copilot para fazer esse nível de solução de problemas novamente.

Talvez algum dia o Copilot alcance inteligência artificial geral. Neste ponto, eu me contentaria com o bom senso geral artificial. E mesmo essa estação parece estar a muitas paragens de onde estamos agora.