Antes deste setor, passei três anos em conformidade com crimes financeiros em um banco importante, o que significa que já vi mais fraudes e golpes do que a maioria das pessoas jamais verá. Isso me faz instintivamente cauteloso com qualquer coisa que afirme imitar de forma confiável a voz humana e, portanto, quando Kyutai lançou Pocket TTSmodelo de clonagem de voz pequeno o suficiente para rodar em uma CPU. Eu tive que tentar sozinho, em vez de assistir ao vídeo pelo valor nominal.
O que encontrei em menos de quinze minutos, desde um terminal vazio até um clone convincente da minha voz, perturbou-me mais do que alguma vez poderia ter previsto. Fiquei a pensar se a infraestrutura de segurança bancária está suficientemente preparada para o que a nova onda de IA generativa poderá trazer.
A instalação foi muito rápida
Qualquer pessoa com um laptop e acesso à Internet pode fazer isso
Vou ser brutalmente honesto sobre como consegui. Não fiz engenharia reversa de nada, nem precisei de conhecimento prático de CLIs para colocá-lo em funcionamento. Pedi ao Google Gemini para me orientar na configuração e ele me deu a sequência completa e correta para instalar o pacote, corrigir o problema PATH que o Windows não tratou automaticamente, escrever uma amostra limpa e executar um único comando. Isso foi literalmente tudo o que foi necessário. Ninguém precisava de nenhum conhecimento técnico sobre todo o processo. Eu deveria ter feito as perguntas certas ao LLM certo e seguido as instruções que, em retrospectiva, realmente reduzirão o nível de competência na infraestrutura de segurança bancária com a qual geralmente se presume que os atores mal-intencionados estejam equipados.
As técnicas que se seguiram foram igualmente anticlimáticas, se não mais. Incluiu a execução de:
pip install pocket-tts
Seguiu-se uma edição PATH e assim eu estava pronto para clonar. Gravei vinte segundos de mim mesmo falando, reduzi o .WAV para cinco e executei um comando de geração única com meu clipe como voz de referência. A primeira execução foi pausada para baixar o modelo em si, que tinha cerca de 200 MB do Hugging Face. Neste ponto eu estava pronto para executar o modelo.
Cinco segundos de áudio e um clone convincente
Tudo o que precisava era de uma CPU Ryzen econômica
Depois que o modelo foi armazenado em cache, o lançamento foi instantâneo. Meu terminal relatou um tempo de processamento rápido de exatamente 46 milissegundos e um tempo médio de etapa de geração de 15 milissegundos. Digitei a frase que queria, executei o comando e o áudio ficou pronto antes mesmo de eu tirar as mãos do teclado. Tudo funcionou na minha CPU Ryzen 5 7600 sem nenhuma GPU dedicada para fazer qualquer trabalho. Este também era um comportamento esperado, pois a documentação da Kyutai também afirma que a aceleração da GPU durante o desenvolvimento não é mensurável em seus testes, pois o modelo já é pequeno o suficiente para que alguns núcleos de CPU sejam suficientes para a tarefa.
A eficiência e o custo de toda essa configuração são algo que não posso deixar passar. A maioria dos tipos de fraude sempre teve paciência. No passado, os golpes de áudio Deepfake dependiam de clipes pré-gravados, e o tempo lento de geração dava às vítimas tempo para hesitar e reagir de acordo se algo falhasse instintivamente. O processo para conseguir isso também era tedioso, consumia muitos recursos e não podia ser replicado perfeitamente em todos os casos. Um modelo com capacidade de clonar uma voz em milissegundos elimina essa janela, aumentando o risco no processo.
Os sistemas de verificação de voz não estão preparados para isso
A infraestrutura de segurança deve se atualizar rapidamente
Em muitos bancos de varejo, a identificação por voz por telefone é frequentemente classificada como um mecanismo de triagem de segurança de alto nível. Limpar esse nível de segurança permite que o usuário execute uma série de ações que de outra forma não seriam possíveis com outras medidas de autenticação de segurança mais leves. Algumas dessas ações representam sérios riscos materiais para o cliente, permitindo que você inicie uma transferência de dinheiro, altere o endereço de uma conta, redirecione uma substituição de cartão de débito ou crédito, altere assinantes autorizados nas contas bancárias da empresa e até mesmo altere os níveis de acesso ao banco on-line. Os bancos costumam usar esse sistema porque a verificação por voz usa autenticação biométrica, que geralmente está nos mais altos níveis de autorização de segurança.
O risco aumenta muito pelo fato de que um clipe de cinco segundos pode ser extraído de uma saudação de correio de voz, vídeo de mídia social ou chamada telefônica gravada sem consentimento. Todas essas amostras agora parecem ser suficientes para gerar uma voz adequada, já que esta forma de geração é aparentemente possível em milissegundos. Se isso por si só não for ruim, o que vem depois é igualmente perturbador. Depois que o processo de segurança (geralmente gerenciado por sistemas IVR automatizados) for concluído, o chamador poderá retornar à sua própria voz durante o restante da chamada.
No interesse público, a verificação do Voice ID agora deve ser muito menos confiável
Muitas instituições que lidam com dados sensíveis, como bancos, seguradoras e agências governamentais, dependem de sistemas de verificação de voz e consideram-nos confiáveis porque se baseiam em características biométricas únicas. Estas instituições também parecem ter assumido há muito tempo que falsificar de forma convincente a voz humana requer recursos atores de ameaças cibernéticas e os trapaceiros simplesmente não o fazem. Esta suposição pode já não ser válida e, se for o caso, é imperativo que estas instituições revejam os sistemas de verificação que construíram em torno da sua apetência pelo risco.
