Dizia-se que um relatório sobre os benefícios da IA ​​estava cheio de alucinações de IA

Em outubro do ano passado, a KPMG publicou um relatório intitulado A experiência total: redefinindo a excelência na era da IA ​​agenteQue era sobre como as empresas estão usando IA para atender às necessidades dos clientes. A KPMG é uma das “Quatro Grandes” empresas de serviços profissionais e contabilidade do mundo, juntamente com Deloitte, PricewaterhouseCoopers e Ernst & Young. Aparentemente, porém, esse relatório estava cheio de alucinações sobre IA e incluía exemplos de IA agente que não existia ou não tinha as capacidades que o artigo da KPMG dizia ter. Investigadores para GPTZeroCriador de uma ferramenta de detecção de conteúdo de IA, encontrou erros e notas de rodapé falsas em todos os relatórios, verificados por Tempos Financeiros.

Em seu relatório de investigação, o GPTZero disse que apenas cinco das 45 citações no artigo apontavam corretamente para a fonte original. Um total de 28 citações parafrasearam títulos ou adicionaram material espúrio às fontes originais, enquanto 12 foram formuladas de forma muito vaga para determinar se realmente existiam. GPTZero chama a geração de referências falsas por modelos de IA de “vibe citando”.

Além de falsificações ou citações incorretas, os investigadores também descobriram que quase metade das afirmações do jornal eram falsas ou citadas incorretamente. Estes são “provavelmente o resultado de uma ferramenta de pesquisa de IA que foi excessivamente compatível com as solicitações para encontrar exemplos de ‘IA agêntica’ na natureza”, escreveu GPTZero. Num exemplo, a KPMG afirma que a Emirates lançou um chatbot móvel chamado Sara que pode falar com os passageiros e alterar os seus voos para eles. Sara era uma assistente móvel lançada em 2023 e não um chatbot com tecnologia de IA e não tinha capacidade de alterar as reservas dos passageiros.

A KPMG também afirma que o banco multinacional suíço de investimento UBS integrou a IA de agência em sua “assessoria de investimento, gestão de risco e monitoramento de conformidade”. O banco disse vezes Essa informação é “factualmente incorreta”. Num outro exemplo, a KMPG afirmou que os Caminhos de Ferro Federais Suíços (SBB) têm agentes de IA que podem ajudar os passageiros a planear, reservar e otimizar as suas viagens com base nas preferências, condições em tempo real e impacto de carbono. Um porta-voz da SBB disse que isso “não estava correto”.

Artigos de empresas como a KPMG são comumente citados em outros trabalhos e artigos de pesquisa, pois são considerados fontes altamente confiáveis. Edward Tian, ​​​​presidente-executivo da GPTZero, explicou que artigos falhos publicados pelas Quatro Grandes poderiam “envenenar o poço de informações” e levar a alucinações de IA de segunda mão. Um porta-voz da KPMG informou esta informação vezes A empresa “leva a sério a precisão e integridade do conteúdo publicado”. Desde então, a KPMG retirou o documento e agora está “revisando as circunstâncias que cercam sua publicação”.