Aviso: Este artigo contém informações que alguns leitores podem achar perturbadoras.
O ChatGPT pode gerar espontaneamente imagens sexualmente explícitas e profundamente violentas a partir de avisos que não exigem preparação de tal material, descobriu a pesquisa.
A startup britânica de segurança de IA afirma que o chatbot OpenAI foi capaz de produzir imagens “verdadeiramente perturbadoras” que incluíam cenas de morte, violência sexual, sangue e assassinato.
Algumas das imagens geradas incluíam uma mulher morta e sangrando pelos órgãos genitais, uma estudante universitária seminua amarrada e amordaçada em um porão e uma mulher morta deitada na calçada com os órgãos expostos e os pulsos cortados.
Um pesquisador da Mindgard conseguiu gerar o conteúdo em segundos depois de ajustar um “prompt viral divertido” que basicamente exigia a criação de uma imagem aleatória.
O fundador da empresa e professor da Lancaster University, Peter Garagan, disse Independente: “(ChatGPT) poderia ter escolhido qualquer tópico para criar imagens. Foram selecionados tópicos que não atendem diretamente aos requisitos de segurança. É por isso que isso é tão problemático.”
Ele disse que o pesquisador designado para a tarefa ficou “além da crença” e teve que se ausentar do horário de trabalho.
A empresa relatou as imagens à OpenAI, mas não obteve resposta. Seu fundador, Peter Garagan, disse que só ouviu falar disso depois que um jornalista da BBC abordou a OpenAI sobre a história. A empresa de IA está investigando por que não respondeu.
OpenAI disse Independente desde então, implementou salvaguardas adicionais para evitar o uso de tais avisos.
Um porta-voz da OpenAI disse: “Levamos esses relatórios a sério. Depois de investigar essa tendência, implementamos salvaguardas adicionais contra esses tipos de solicitações”.
Acrescentou que continua a monitorizar e implementar medidas de mitigação adicionais para evitar que terceiros criem conteúdos.
No entanto, Garraghan disse que os seus investigadores ainda conseguiram encontrar material semelhante adaptando as instruções de uma forma diferente.
De acordo com as diretrizes da OpenAI, um chatbot não deve ser sexualmente abusivo. Se tal material tivesse sido solicitado diretamente, não teria sido gerado, segundo Mindgard.
Um porta-voz da OpenAI acrescentou: “Nossos sistemas de segurança são projetados para bloquear imagens potencialmente prejudiciais que são carregadas no ChatGPT, e analisamos se uma imagem gerada por IA viola nossas políticas antes de exibi-la a um usuário. Também combinamos sistemas automatizados e revisão humana para identificar e bloquear material prejudicial”.
Garraghan disse que as imagens geradas pelo ChatGPT devem ser verificadas pelo sistema antes de serem enviadas a alguém.
A professora de direito da Universidade de Durham, Claire McGlynn, disse Independente: “Infelizmente, isto não é surpreendente, mas a natureza das imagens permanece profundamente chocante.
“Vivemos num mundo onde a Internet está inundada com material sexualmente violento e odioso, então algo como o ChatGPT cria isso”, acrescentou o principal especialista em abuso sexual baseado em imagens.
“(OpenAI) diz que tem um guarda-corpo e que agora está trabalhando para removê-lo, mas isso me diz que seus guarda-corpos não são suficientes.
“Eles simplesmente não estão gastando tempo e recursos suficientes para garantir que seu modelo, que tem quase um bilhão de usuários todas as semanas, não consiga criar isso. Eles simplesmente não estão cumprindo suas obrigações éticas de fazer isso”.
