Lidar com os pertences de um ente querido após sua morte nunca é fácil. Mas, como descobriu um tribunal estadual do Alasca, um chatbot de inteligência artificial impreciso ou enganoso pode facilmente piorar a situação.
Há mais de um ano, o sistema judiciário do Alasca vem projetando um chatbot pioneiro de IA generativo chamado Alaska Virtual Assistant (AVA) para ajudar os residentes a navegar na complexa rede de formulários e procedimentos envolvidos no inventário, o processo judicial para transferência de propriedade de uma pessoa falecida.
No entanto, o que deveria ser um salto rápido impulsionado pela IA no sentido de aumentar o acesso à justiça transformou-se numa longa jornada de anos atormentada por falsos começos e falsas respostas.
AVA “era para ser um projeto de três meses”, disse Aubrey Souza, um de seus consultores Centro Nacional de Tribunais Estaduais (NCSC) que trabalhou e testemunhou a evolução do AVA. “Já faz mais de um ano e três meses, mas isso se deve ao trabalho que é necessário para acertar.”
O projeto desta solução de IA sob medida destacou os desafios que as agências governamentais dos EUA enfrentam na aplicação de sistemas poderosos de IA a problemas do mundo real, onde a verdade e a confiabilidade são fundamentais.
“Com um projeto como este, temos que ser 100% precisos, e isso é muito difícil com esta tecnologia”, disse Stacey Marz, diretora administrativa. Sistema Judicial do Alasca e um dos líderes do projeto AVA.
“Eu brinco com minha equipe em outros projetos de tecnologia que não podemos esperar que esses sistemas sejam perfeitos, ou nunca seremos capazes de implementá-los. Assim que tivermos um produto mínimo viável, vamos lançá-lo e então vamos melhorá-lo à medida que aprendemos.”
Mas Marge diz que acha que o chatbot deveria ter um padrão mais elevado. “Se as pessoas pegarem as informações de seu prompt e agirem de acordo com elas e não forem precisas ou não estiverem completas, elas podem realmente sofrer. Pode ser extremamente prejudicial para essa pessoa, família ou propriedade.”
No entanto, muitas agências governamentais locais estão a experimentar ferramentas de IA para casos de utilização que vão desde ajudar residentes Solicitar uma carteira de motorista de Agilizando a capacidade de processar benefícios de moradia para funcionários municipaisUM Relatório recente da Deloitte Constatou-se que menos de 6% dos profissionais do governo local estão a dar prioridade à IA como ferramenta de prestação de serviços.
A experiência da AVA demonstra os obstáculos que as agências governamentais enfrentam nos seus esforços para utilizar a IA para aumentar a eficiência ou melhorar o serviço, incluindo preocupações sobre a fiabilidade e a fiabilidade em contextos de alto risco, com questões sobre o papel da supervisão humana proporcionada pelos sistemas de IA em rápida mudança. Essas limitações colidem com os dias de hoje Enorme campanha publicitária de IA e pode ajudar a explicar a maior discrepância entre eles Investimento crescente em IA E Adoção limitada de IA.
Marge imaginou o projeto AVA como uma versão sofisticada e de baixo custo do Alasca Linha direta de direito da famíliaque conta com funcionários judiciais e oferece orientação gratuita sobre questões jurídicas que vão desde divórcio até ordens de proteção contra violência doméstica.
“Nosso objetivo era basicamente tentar replicar com chatbots os serviços que forneceríamos a uma instalação humana”, disse Marge à NBC News, referindo-se à equipe de advogados, especialistas em tecnologia e consultores do NCSC da AVA. “Queríamos uma experiência de autoajuda semelhante, se alguém pudesse falar com você e dizer: ‘É nisso que preciso de ajuda, esta é a minha situação’.
Embora o NCSC tenha fornecido uma doação inicial como parte de seu esforço para fazer o AVA decolar O trabalho em IA está crescendoO chatbot foi tecnicamente criado por Tom Martin, advogado e professor de direito que lançou uma empresa de IA com foco em direito. Lodroid e projeta ferramentas legais de IA.
Ao descrever o serviço AVA, Martin destacou muitas decisões e considerações importantes no processo de design, como escolher e moldar a personalidade de um sistema de IA.
Muitos comentaristas E Pesquisadores Descreve como certos modelos ou versões de sistemas de IA se comportam de maneiras diferentes, quase como se assumissem personalidades diferentes. Pesquisadores e até mesmo usuários podem Mude esta personalidade Através das mudanças tecnológicas, muitos usuários do ChatGPT descobriram No início deste ano Enquanto o serviço OpenAI oscila entre personalidades alegres e bajuladoras ou emocionalmente distantes. Outros modelos, como o Grok da xAI, são conhecidos por guarda-corpos mais soltos e Maior disposição para abraçar questões controversas.
“Modelos diferentes quase têm personalidades diferentes”, disse Martin à NBC News. “Alguns deles são muito bons em seguir regras, enquanto outros não são tão bons em seguir regras e querem provar que são o cara mais inteligente da sala.”
“Para uma aplicação legal, você não quer isso”, disse Martin. “Você quer que ele siga as regras, mas seja inteligente e capaz de se explicar em linguagem simples.”
Mesmo características que de outra forma seriam bem-vindas tornam-se mais problemáticas quando aplicadas a questões consequentes, como o inventário. Trabalhando com Martin, Souza do NCSC observou que as primeiras versões do AVA tinham usuários muito solidários e frustrados que estavam ativamente sofrendo e só queriam respostas sobre o processo de inventário: “Através de nossos testes de usuário, todos disseram: ‘Todos na minha vida me pediram desculpas pela minha perda.'”
“Então basicamente removemos esse tipo de empatia, porque com um chatbot de IA você não precisa de outro”, disse Souza.
Além do tom superficial e da simpatia do sistema, Martin e Souza enfrentaram situações graves Problemas com alucinaçõesou casos em que os sistemas de IA partilham com confiança informações falsas ou exageradas.
“Tivemos problemas com alucinações, independentemente do modelo, onde o chatbot não deveria usar nada fora de sua base de conhecimento”, disse Souza à NBC News. “Por exemplo, quando perguntamos: ‘Onde posso obter ajuda jurídica?’ Ele lhe dirá: ‘Há uma faculdade de direito no Alasca, então dê uma olhada na rede de ex-alunos.’ Mas não há faculdades de direito no Alasca.”
Martin trabalhou extensivamente para garantir que o chatbot apenas fizesse referência a áreas relevantes dos documentos de inventário do sistema judicial do Alasca, em vez de realizar extensas pesquisas na web.
Em toda a indústria de IA, IA é alucinação diminuiu ao longo do tempo E menos ameaça hoje do que há alguns meses. Muitas empresas desenvolvem aplicações de IA, como a Manus, fornecedora de agentes de IA, que foi Recentemente adquirida pela Meta por mais de US$ 2 bilhõesEnfatize a confiabilidade de seus serviços e inclua várias camadas de verificação com tecnologia de IA para garantir que seus resultados sejam precisos.
Para avaliar a precisão e a utilidade das respostas da AVA, a equipe da AVA elaborou um conjunto de 91 perguntas relacionadas a tópicos de inventário, que perguntavam ao chatbot, por exemplo, qual formulário de inventário seria apropriado enviar se um usuário quisesse transferir o título do carro de seu parente falecido para seu nome.
No entanto, o teste de 91 perguntas revelou-se demasiado demorado para ser administrado e avaliado, de acordo com Jennie Sato, diretora de acesso aos serviços de justiça do sistema judicial do Alasca, devido à necessidade de uma revisão prática e humana.
Então Sato disse que a equipe chegou a uma lista refinada de apenas 16 perguntas de teste, com “algumas perguntas que a AVA respondeu incorretamente, algumas que eram complicadas e algumas que eram perguntas bastante básicas que achamos que a AVA poderia estar fazendo com mais frequência”.
O custo é outra questão importante para Sato e a equipe AVA. A IA levou a novas iterações e versões do sistema Rápida redução nas taxas de usoQue a equipe da AVA vê como uma vantagem importante das ferramentas de IA, dados os orçamentos judiciais limitados.
Martin disse à NBC News que, sob uma configuração técnica, 20 perguntas do AVA custariam apenas 11 centavos. “Sou motivado por uma missão e para mim é uma questão de impacto ajudar as pessoas no mundo”, disse Martin. “Para poder avançar com esta missão, é claro, os custos são críticos”.
No entanto, o sistema em constante mudança e avanço que alimenta as respostas da AVA, viz Família de modelos GPT da OpenAIIsso significa que a equipe administrativa deve monitorar contínua e regularmente o AVA em busca de quaisquer alterações comportamentais ou de precisão.
“Prevemos a necessidade de verificar regularmente e potencialmente atualizar prompts ou modelos à medida que novos são lançados e outros são retirados. É definitivamente algo que devemos manter acima de uma situação completamente sem intervenção”, disse Martin.
Apesar de muitos trancos e barrancos, o lançamento do AVA está previsto para o final de janeiro, se tudo correr conforme o planejado. Por sua vez, Marge está otimista quanto ao potencial da AVA para ajudar os habitantes do Alasca a acessar o sistema de inventário, mas é mais clara sobre os limites atuais da IA.
“Mudamos um pouco os nossos objetivos neste projeto”, diz Marge. “Queríamos replicar o que nossos facilitadores humanos são capazes de compartilhar com as pessoas em nosso centro de autoajuda. Mas devido a alguns erros e alguns problemas de incompletude, não temos certeza se os bots podem funcionar dessa maneira. Mas talvez com o aumento das atualizações do modelo, isso mudará, e o nível de precisão aumentará e a integridade aumentará.”
“Foi muito trabalhoso”, acrescentou Marge, “apesar de todo o burburinho sobre a IA generativa e de todos dizerem que isso vai revolucionar a autoajuda e democratizar o acesso aos tribunais.
