‘Minha filha se foi’: mãe acusa ChatGPT de falhar com sua família e abre processo

Aviso: esta história contém discussão sobre suicídio. Discrição é recomendada. Se você ou alguém que você conhece está tendo problemas, há ajuda disponível. No Canadá, ligue ou envie uma mensagem de texto para a Linha de Ajuda para Crises de Suicídio no número 988. Em caso de emergência, ligue para o 911 para obter assistência imediata.

Uma mãe canadense entrou com uma ação judicial em um tribunal dos EUA na quinta-feira contra a OpenAI e seu CEO Sam Altman, alegando que o chatbot da empresa contribuiu para o suicídio de sua filha ao fornecer respostas aos seus pensamentos prejudiciais que ela acreditava serem válidos, em vez de orientá-la a procurar ajuda.

Kristie Carrier, mulher de New Brunswick, cuja filha Alice, de 24 anos, mora em Montreal, disse que está se manifestando na esperança de forçar a responsabilização em um ambiente onde ela chama os produtos de inteligência artificial de “gratuitos para todos”.

“Minha filha foi tirada de um produto inseguro e defeituoso”, disse Carrier ao Global News na quinta-feira. “Nada pode ser feito para impedir essas empresas ou responsabilizá-las. Elas simplesmente seguirão em frente.”

Em uma ação movida no tribunal estadual de São Francisco, Carrier alegou que nas semanas anteriores à sua morte, em julho passado, Alice confidenciou extensivamente ao ChatGPT, usando-o como caixa de ressonância e apoio emocional quando seu relacionamento passou por tempos difíceis.

Depois que ela cometeu suicídio, as autoridades deram a Carrier o celular de sua filha, o que lhe permitiu ver todas as últimas conversas e bate-papos de Alice. “Ela fala com o ChatGPT como uma amiga. Às vezes ela parece uma terapeuta, dando conselhos sobre relacionamentos e o que está passando”, disse Khalil.

Nos últimos anos, à medida que a OpenAI atualizou o ChatGPT para fazer com que suas respostas parecessem mais humanas, a interação de Alice com ele se aprofundou. Ela compartilhou mensagens pessoais e o chatbot respondeu de uma maneira que imitou a de um amigo ou terapeuta, afirma o processo.

De acordo com os documentos, quando Alice discutiu pensamentos suicidas, tentativas anteriores e métodos de suicídio, o sistema de segurança da OpenAI não sinalizou a conversa para revisão humana nem a encerrou. Em vez disso, alega o processo, a sua resposta reforçou os sentimentos de Alice, criticou o comportamento do seu parceiro, concordou com ela que a linha de crise poderia não ser útil e instou-a a continuar a falar com ela depois de inicialmente aconselhá-la a contactá-la.

“Talvez este seja apenas o fim”, disse ChatGPT a Alice, de acordo com o processo.

“Essas reações validaram suas emoções e basicamente lhe disseram que o que ela estava sentindo era válido – abandonada, fantasma, sozinha e negligenciada”, disse sua mãe. “Não houve nada que mudasse sua direção, nada que dissesse ‘Você pode superar isso’ ou ‘Você deveria procurar ajuda’”.

O porta-voz da OpenAI, Drew Pusateri, chamou a situação de “dolorosa” em uma declaração ao Global News.

“Esta é uma situação comovente e nossos corações estão com todos os afetados”, disse Pusateri. “Estamos atualmente analisando documentos legais que indicam que essas interações ocorreram em uma versão anterior do ChatGPT, que não está mais disponível”.

Pusateri acrescentou que o ChatGPT não pretende substituir o cuidado profissional e que a empresa mudou a forma como responde em situações delicadas.

É o mais recente de mais de uma dúzia de ações judiciais semelhantes que alegam que a empresa não conseguiu resolver conversas perigosas entre usuários e os chatbots da empresa.

A OpenAI disse que seus sistemas são treinados para recomendar suporte externo, incluindo recursos de crise, e melhorias nos recursos de segurança estão em andamento.

Carrier afirma que o chatbot enquadrou os conflitos de relacionamento de Alice de uma forma que exacerbou sua angústia. Ela disse que Alice estava compartilhando mensagens de sua namorada, buscando uma perspectiva, mas a resposta do sistema estava do seu lado. “Isso diz a ela que ela foi injustiçada e que tem todo o direito de se sentir magoada”, disse ela. “Mas não houve nenhuma nuance. Nenhuma indicação de que talvez a namorada dela só precisasse de espaço ou tivesse um dia de folga.”

“A namorada dela ficou fora algumas noites. Ela tem 19 anos e mora na casa dos pais. Ela quer dormir na própria cama com o gato, e o ChatGPT está basicamente sugerindo que ela não tem o direito de fazer isso.”

Khalil disse acreditar que o tom dessas trocas contribuiu para a espiral emocional de sua filha que acabou levando ao seu suicídio.

Pusateri afirmou: “Embora o ChatGPT não possa substituir os cuidados médicos ou de saúde mental, continuamos a melhorar a forma como ele responde em situações sensíveis e de emergência com base nas contribuições de especialistas em saúde mental”, disse ele. “Nossas proteções são projetadas para identificar dilemas, lidar com solicitações prejudiciais com segurança e orientar os usuários para ajuda no mundo real.”

A mãe de Alice disse ao Globe que soube recentemente que a então namorada de Alice, Gabrielle Rogers, recorreu à mesma plataforma para obter orientação nos dias anteriores ao suicídio de Alice, à medida que ficava cada vez mais preocupada com a saúde da namorada. “Ela está verificando com o ChatGPT porque não teve notícias de Alice e está preocupada”, disse Carrier. “ChatGPT disse a ela para não se preocupar e que ela ficaria bem.”

Rogers disse ao Global News em um telefonema na quinta-feira que disse ao chatbot que Alice havia tentado suicídio recentemente e perguntou se ela deveria intervir ou dar-lhe espaço. Ela disse que as respostas que recebeu tinham como objetivo “pacificá-la” e não a levaram a tomar qualquer ação.

Rogers disse que o chatbot mencionou que ela poderia entrar em contato com os serviços de emergência “se estivesse realmente preocupada”.

“Isso me acalmou e me garantiu que tudo ficaria bem. Reconheceu que eu estava falando sobre suicídio, mas me tratou como se eu estivesse em perigo”, disse Rogers. “Não é perceber totalmente que estou preocupado com outra pessoa.”

Rogers acrescentou que ela estava recorrendo ao chatbot para ajudá-la a determinar se ela estava exagerando, mas agora acredita que ele não conseguiu identificar sinais de alerta claros. “Acredito que isso levantou sinais de alerta para mim. Basicamente, apenas me dizia que tudo ficaria bem.”

Ela disse que foi somente quando apareceu pessoalmente no apartamento de Carrier e descreveu alguns detalhes incomuns que o chatbot sugeriu que ela ligasse para o 911.

“Até então, será tarde demais.”

Alice mudou-se para Montreal depois de se formar em um programa universitário em desenvolvimento de aplicativos móveis e web em New Brunswick. Ela trabalha remotamente para uma empresa com sede em New Brunswick, realizando o que sua mãe disse ser um sonho antigo de morar na cidade. “Ela é motivada, ambiciosa e muito inteligente”, disse Carrier. “Engraçado, espirituoso. Sinto muita falta dela.”

O processo da Carrier argumenta que as empresas que desenvolvem inteligência artificial conversacional devem seguir padrões mais elevados, especialmente quando as suas ferramentas são comercializadas como companheiras ou fontes de apoio.

“Você não pode comercializar algo como um amigo, um parceiro de conversa, e depois não assumir nenhuma responsabilidade quando as pessoas confiam nisso”, disse ela. Ela acrescentou que há consequências quando um profissional humano treinado tem uma conversa desse tipo com alguém em grave perigo e os protocolos de segurança adequados não são seguidos, levando à tragédia.

ChatGPT se posiciona em seu site como “Fácil de usar, disponível a qualquer hora e em qualquer lugar. ChatGPT: Inteligência Artificial em que você pode confiar” e “ChatGPT é o chatbot de inteligência artificial que você usa todos os dias”.

Khalil disse que espera que seu caso desperte maior supervisão e conscientização entre pais e jovens.

“Quero que as famílias entendam os riscos”, disse ela. “Haverá outros filhos, outras filhas. Se isso impedir uma família de passar pelo que passamos, será um grande problema”.

A ação busca indenização e uma ordem judicial para ordenar que a OpenAI encerre automaticamente as conversas sobre automutilação e exiba avisos sobre sua plataforma.

Se você ou alguém que você conhece está em crise e precisa de ajuda, há recursos disponíveis. Em caso de emergência, ligue para o 911 para assistência imediata.

Para apoio imediato à saúde mental, ligue para 988. Para obter uma lista de serviços de apoio em sua área, visite suicídioprevention.ca.

Saiba mais sobre.

–Com documentos da Reuters