Do Vale do Silício a Washington, o mundo da tecnologia está obcecado em destilar inteligência artificial

No início deste ano, o chefe de IA do Google, Jeff Dean no podcastdiscutiu um conceito que raramente era falado fora dos círculos tecnológicos malucos da época: destilação.

Ao falar sobre o desenvolvimento de modelos de inteligência artificial do Google, Dean disse que ele e seus colegas descobriram a tecnologia de destilação de inteligência artificial porque o Google queria melhorar o desempenho de seus sistemas sem depender de um único modelo de reconhecimento de imagem grande.

“Através da destilação, que é a tecnologia chave para tornar os modelos menores mais potentes, você precisa ter o modelo de última geração e então destilá-lo em seu modelo menor”, ​​disse Dean em fevereiro.

Cinco meses depois, a destilação tornou-se subitamente um tema quente, desde Silicon Valley até Washington, D.C., com tecnólogos e legisladores a debater se a prática poderia transformar-se numa ameaça à segurança nacional e permitir que a China alcançasse os Estados Unidos na corrida de alto risco da inteligência artificial. As preocupações começaram a aumentar no final da semana passada, depois que o laboratório chinês Moonshot AI lançou o Kimi K3, e os usuários rapidamente descobriram que era competitivo Apresentando a melhor inteligência artificial comercial da Anthropic e OpenAI.

Ao contrário das principais empresas de IA dos EUA que vendem acesso a modelos proprietários, a Moonshot e outros laboratórios chineses oferecem os chamados modelos de peso aberto que permitem aos usuários baixar a tecnologia, ajustá-la e executá-la em qualquer lugar.

Alguns funcionários do governo atribuem a capacidade do Moonshot de recuperar o atraso tão rapidamente à destilação, descrevendo-a como um roubo de propriedade intelectual americana, particularmente através da incorporação do modelo Fable de ponta da Anthropic.

“Temos informações de que a Moonshot AI refinou as fábulas da Anthropic para uso no desenvolvimento de seu modelo K3”, disse o conselheiro da Casa Branca, Michael Kratsios. Postado em X Quarta-feira. “Para fazer isso, eles desenvolveram uma plataforma interna sofisticada que destilou modelos dos EUA em escala, permitindo-lhes alternar rapidamente entre vários métodos de acesso para evitar a detecção”.

Em alto nível, destilação refere-se ao uso das respostas de um chatbot ou do produto de trabalho de um modelo avançado de IA para treinar outro modelo. Esta abordagem é controversa porque, dependendo de como é utilizada, os criadores de modelos podem criar produtos competitivos simplesmente utilizando o resultado de empresas que investiram milhões ou milhares de milhões de dólares no desenvolvimento das tecnologias de formação mais sofisticadas.

“É quase como se alguém fosse a uma palestra, lesse o livro e fizesse todo o trabalho duro”, disse Pukar Hamal, fundador da empresa de segurança de IA SecurityPal. “Então algum outro aluno disse: ‘Ei, não fui eu que fiz isso. Posso copiar seu trabalho?'”

Quer seja a postagem de Kratsios ou qualquer outra coisa, os maiores pesos pesados ​​da tecnologia do mundo se reuniram como nunca antes na sexta-feira para deixar claras suas posições. Após uma série de publicações nas redes sociais esta semana, as gigantes tecnológicas Nvidia, Microsoft, Meta e Palantir juntaram-se a mais de 20 outras empresas na emissão de uma carta apelando aos decisores políticos para evitarem “restrições prematuras” aos modelos abertos de inteligência artificial que “sufocariam a concorrência ou impulsionariam a inovação no exterior”.

“A destilação, ou a prática de usar o resultado de um modelo para ajudar a treinar ou melhorar outro modelo, é uma técnica amplamente utilizada para melhoria, evolução e validação de modelos”, escrevem eles.

O surgimento da destilação representa um enigma para os decisores políticos dos EUA, que há muito se preocupam com a tecnologia chinesa em termos de roubo de propriedade intelectual e preocupações com a segurança nacional.

Colin Shea-Blemire, pesquisador do Centro de Segurança e Tecnologia Emergente de Georgetown, disse que o governo dos EUA está tentando descobrir onde está.

Shea-Blemire disse que o governo provavelmente argumentaria que as empresas chinesas e russas “usaram os frutos do modelo americano de trabalho árduo para melhorar o seu próprio desempenho, por isso têm uma vantagem injusta nesse aspecto”.

Caixa O presidente-executivo Aaron Levie foi um dos signatários da carta de sexta-feira. Levy disse numa entrevista que, para permanecerem competitivas, as empresas norte-americanas precisam de ter acesso à melhor tecnologia, independentemente de onde esta seja desenvolvida.

Shashi Bellamkonda, diretor de pesquisa do Info-Tech Research Group, disse que embora grande parte da discussão atual esteja focada em modelos chineses de inteligência artificial de peso aberto, como o Kimi K3, muitas empresas adotaram a tecnologia de destilação ao criar seus próprios modelos. Por exemplo, a Nvidia usa destilação como parte do processo de treinamento para sua família de modelos Llama Nemotron, consulte documento de pesquisa que acompanha.

“Esta é uma técnica legítima e muito valiosa para treinar modelos menores e mais baratos com base na produção de modelos maiores, e tem estado em prática o tempo todo”, disse Bellamconda.

No entanto, a Anthropic vê a situação de forma diferente, pois a empresa entende como seu modelo está sendo usado e precisa proteger o negócio emergente. Fevereiro, empresa explicar As chinesas DeepSeek, Moonshot e MiniMax estão a refinar as suas capacidades Claude numa “escala industrial”, com as empresas a utilizar cerca de 24.000 contas falsas e a gerar 16 milhões de transações.

A Anthropic, que está avaliada em quase US$ 1 trilhão e espera abrir o capital em um futuro próximo, diz que acabar com a destilação ilegal é uma questão de segurança nacional.

“A Antrópica e outras empresas dos EUA constroem sistemas que impedem que atores estatais e não estatais usem inteligência artificial para desenvolver armas biológicas ou conduzir atividades cibernéticas maliciosas”, disse a empresa em um post de fevereiro. Parar isto exigirá “uma acção rápida e coordenada entre os intervenientes da indústria, os decisores políticos e a comunidade global de IA”.

OpenAI e Anthropic proíbem a destilação em seus termos de serviço. Bellamkonda disse que eles estavam essencialmente sugerindo que o uso não autorizado de seu grande modelo poderia levar ao roubo de propriedade intelectual.

Mas à medida que o custo da inteligência artificial aumenta, as empresas farão tudo o que for necessário para se tornarem mais eficientes.

Hamal disse que não tem problemas em usar modelos chineses abertos, como o Kimi K3 da SecurityPal, que usa inteligência artificial para automatizar avaliações de segurança. Ele disse que isso poderia economizar muito dinheiro.

“Garantiremos que não haja backdoors nefastos no código”, disse Hammar. “Mas hospedá-lo em nossa própria infraestrutura depois de termos feito a avaliação, por que não?”

Um grande problema que a Anthropic e a OpenAI enfrentam ao tentarem se defender contra o roubo de propriedade intelectual é que ambas as empresas dependem, e sempre confiaram, de outras fontes de conteúdo para construir seus modelos. processado Devido a esta.

Max Pritt, advogado da Boies Schiller Flexner que representa autores de livros em ações judiciais de direitos autorais contra empresas de inteligência artificial, disse que o governo está na mesma situação.

“O governo, pelo menos publicamente, concentra-se na proteção dos direitos de propriedade intelectual das empresas de tecnologia, ao mesmo tempo que permanece silencioso sobre o uso não autorizado dos direitos de propriedade intelectual de criadores e indivíduos”, disse Pritt.

assistir: Embora os modelos permaneçam abertos, as empresas de IA da China ainda procuram formas de rentabilizar