Na semana passada, um novo movimento de fanwork começou com o objetivo de erradicar autores que usam IA prolífica. No entanto, os métodos de detecção empregados são questionáveis e qualquer escritor de fanfic pode ser pego no fogo cruzado.
Há muito tempo existe um grande descontentamento com o uso de Claude, ChatGPT e outras ferramentas de IA. Algo Em comunidades criativas, incluindo o mundo da fanfiction. Leitores e escritores usam hífens para identificar obras consideradas criadas por IA. conceito amplo prosa roxa. No entanto, em 29 de junho, uma conta X anônima ligou. @heatedrivalryai aparentemente prometeu uma solução mais confiável. Ele lançou uma olhada no que parece ser uma extensão para o popular repositório de fanfic Archive of Our Own (AO3), que supostamente identificará artefatos de codificação deixados para trás pelo bot Claude da Anthropic.
“Quando uma resposta gerada por Claude é colada diretamente de Claude no AO3, o texto é agrupado com o código ‘font-claude-response-body’ injetado por Claude”, disse a conta @heatedrivalryai. “Sua presença indica conclusivamente que Claude estava sendo usado.” Quando um usuário visita uma página (como uma fanfic) com este código, a skin fica com todo o fundo vermelho.
Bastante postagens de teste Foi publicado no AO3, o que permite aos usuários verificar se funciona. Quando testei a visualização com essas amostras, a tela imediatamente ficou vermelha e publiquei um conto criado por Claude para executar meu próprio experimento, só para garantir. A tela vermelha apareceu quando colei diretamente do chatbot no editor e desapareceu quando colei texto não diretamente de Claude (incluindo a mesma história gerada).
A postagem do detector Claude foi acompanhada de exemplos de fanfics onde foram detectados artefatos; O criador anônimo disse que isso não pretende “criar desconfiança ou culpar usuários específicos”, mas mostrar que o sistema funciona. Mas as comunidades de fanfiction agiram rapidamente para nomear publicamente e envergonhar os autores cujos trabalhos publicados foram sinalizados pela ferramenta, e o criador da ferramenta certamente não vê a IA como algo positivo. “O Fandom é um espaço exclusivamente conectivo e colaborativo. Ele prospera com o elemento humano e a centelha criativa que o impulsiona e se alimenta”, disseram eles. “Se involuntariamente permitirmos que a IA interrompa esses campos, o que restará deles?”
A Anthropic não respondeu ao meu pedido para confirmar se o detector Claude feito em leque funciona conforme anunciado. Mas a metodologia aqui parece sólida e nossos próprios testes comprovam isso. Não há razão aparente para o código de Claude estar presente em uma história, a menos que o bot tenha sido usado de alguma forma. No entanto, existe um risco claro de falsos negativos e generalizações excessivas.
A quebra de código só é preservada quando o texto é copiado diretamente do Claude para o editor do AO3, portanto, ele não captura nada editado no Google Docs ou no Microsoft Word e depois movido para o AO3 – e como alguém que ganha a vida escreve, posso testemunhar como é arriscado escrever diretamente no CMS. Alguns autores sinalizados já atualizaram seus trabalhos para remover trabalhos, e trabalhos futuros podem facilmente escapar dessa ferramenta.
Por outro lado, o rótulo não revela até que ponto Claude foi usado em uma obra específica. Aquela tela vermelha brilhante pode significar que toda a história foi gerada inteiramente por IA, ou que um escritor colou algumas frases escritas por humanos em Claude para verificação ortográfica ou tradução e depois as moveu de volta para o AO3.
Isso não importa para alguns membros do fandom. qualquer O uso de IA generativa é uma traição imperdoável à comunidade criativa mais ampla. Muitas pessoas levantam preocupações sobre o impacto ambiental da tecnologia e como ela está sendo treinada, possivelmente aproveitando a web aberta, que inclui fan art carregada em plataformas como o AO3.
A aplicabilidade desta ferramenta específica é limitada; O AO3 não é a única plataforma para publicação de obras de fãs, e Claude é apenas um dos muitos modelos de IA. Pelo menos uma pessoa afirma Eles escreveram um código separado que poderia detectar o uso de “Claude, Deepseek e alguns ChatGPT”, mas não divulgaram publicamente esta solução nem explicaram como ela funcionava. Perguntei ao Google e à OpenAI se seus modelos deixavam algum artefato rastreável na geração de texto que pudesse ser detectado usando métodos semelhantes, mas eles não responderam.
Na verdade, seria bastante surpreendente se existisse um sistema universalmente confiável. Tenho relatado sobre os problemas relacionados à detecção de IA há vários anos e, até onde sei não é atualmente uma solução tecnológica confiável para distinguir texto gerado de texto escrito por humanos. Sistemas como C2PA Content Credentials e SynthID do Google estão fazendo algum progresso na identificação de IA generativa em imagens, vídeo e até mesmo áudio, mas dependem de marcas d’água invisíveis e metadados que não são transferidos para texto copiado e colado.
As empresas de IA têm todos os incentivos para resolver o problema, pelo menos internamente
Isto pode mudar no futuro, e as empresas de IA têm todos os incentivos para resolver o problema, pelo menos internamente. Os primeiros modelos foram treinados indiscriminadamente em textos recuperados da Internet e, como a escrita humana foi substituída pela sua contraparte sintética, “colapso do modelo”um cenário que degradará a precisão dos resultados.
Mas, por enquanto, as comunidades de fãs ainda dependem principalmente de vibrações. A maioria das fanfics são julgadas não por uma ferramenta como a visualização do AO3, mas por “tells”, que podem incluir qualquer coisa, desde estruturas de frases específicas – como o infame “Não é X, é Y” – até o uso excessivo de metáforas floreadas. (Pelo menos ninguém no fandom ainda bancos se tornam homens.) Mas precisamos lembrar que A inteligência artificial costuma escrever assim porque ele foi treinado em coisas escritas por pessoas reais. Ele está tentando nos copiar. Não sou corajoso o suficiente para compartilhar meus próprios favoritos do AO3, mas na época pré-ChatGPT da Internet eu certamente li fanfics excessivamente bombásticas que não passariam nesse duvidoso teste de detecção.
A melhor solução para distinguir o trabalho de IA no AO3 já existe: o poderoso sistema de marcação do site. “UM”Criado usando IA generativa” existe, e muitos autores a adicionam para divulgar o uso de ferramentas como Claude. Mas isso requer transparência honesta, e há pouco incentivo para a honestidade devido à reação. Também vale lembrar que fanfiction deve ser um hobby, não uma indústria regulamentada.
Com estes esforços para evitar que a IA capte a atenção da verdadeira criatividade centrada no ser humano, os escritores que não se conformam com o que é considerado uma qualidade de escrita aceitável podem tornar-se vítimas inocentes da contínua caça às bruxas. Pelo menos um escritor esteve nesta situação por causa de outra pessoa em quem confiava. para editar suas fics Ele fez isso usando Claude. Então, se a próxima fanfic que você ler parecer um pouco robótica, tenha em mente que ela pode não ser tão robótica assim. Na verdade Que seja o produto de um robô.
