A IA local pode ter sido o primeiro passo para a IA usando infraestrutura privada, confidencial e independente da nuvem, mas sempre houve um problema. Antigamente, executar modelos capazes no local significava ter GPUs principais ou aceitar resultados que não pudessem competir com alternativas de nuvem. Parece que não é mais.
Os modelos de mistura especializada (EM) começaram a mudar tudo isso. Eles funcionam ativando apenas uma fração dos parâmetros do modelo por token e fornecem qualidade de saída anteriormente disponível apenas em modelos maiores e mais densos por uma fração do custo de memória. O resultado é que minha GPU da geração Turing, lançada bem antes da existência do ChatGPT, agora pode executar modelos impressionantes o suficiente para tornar as assinaturas de provedores de nuvem completamente opcionais. Se estiver usando silício mais antigo, você pode ter mais opções do que pensa. Aqui está o porquê.
Sua GPU antiga ainda pode executar grandes LLMs – você só precisa dos ajustes certos
Você pode fazer muito com esses modelos
EM é a razão pela qual 8 GB de VRAM são subitamente suficientes para IA nativa
A GPU não era o gargalo, mas a arquitetura certamente era
A inferência de IA nativa tem duas coisas que determinam se o modelo funciona mesmo em seu hardware. O primeiro é o “peso” do modelo, que se refere aos bilhões de parâmetros numéricos que codificam tudo o que o modelo aprendeu, que deve ser totalmente carregado na memória antes que um único valor de token possa ser gerado. A segunda, claro, é a VRAM, que é a memória da sua GPU. É aí que essas “balanças” devem viver para tirar conclusões rapidamente. A relação entre os dois é simples. Se a balança não couber na VRAM, o modelo se recusa a carregar ou roda parcialmente na RAM do seu sistema, que é uma ordem de grandeza mais lenta.
Qualquer modelo que valha a pena usar precisa de VRAM suficiente para manter todo o seu peso na memória para inferência local. Esta é a principal razão pela qual GPUs com 8 GB de VRAM, como meu RTX 2070 Super, não foram consideradas para nenhum trabalho sério de IA nativa até agora. Duas melhorias importantes permitiram que GPUs econômicas executassem LLMs nativos, a primeira das quais é a quantização. A quantização essencialmente comprime os pesos do modelo apenas o suficiente para caber em buffers VRAM menores. Enquanto um float de 16 bits armazena cada parâmetro com precisão numérica fina, um inteiro de 4 bits armazena uma aproximação aproximada do mesmo valor usando apenas um quarto da memória. O modelo perde alguma precisão no processo, mas a maior parte do seu comportamento permanece intacta. Na verdade, na maioria das tarefas, é difícil distinguir a qualidade do resultado de sua precisão absoluta.
O outro desenvolvimento, claro, é a introdução da arquitetura Mixture of Experts (EM), que introduziu uma nova forma de abordar a inferência. Em vez de ativar todos os parâmetros do modelo para cada token gerado, os modelos EM usam apenas um pequeno subconjunto deles por vez. É por isso que modelos como o Google Gemma 4 26B contêm uma base de conhecimento de modelo de 26 bilhões de parâmetros, ativando apenas 4 bilhões em um determinado momento.
EM e Quantização tornaram isso possível, Ollama tornou possível disponível
Os melhores modelos podem ser se manifestou com uma equipe
O bom senso determina que fazer com que modelos nativos capazes funcionem com uma GPU Turing de orçamento envolveria conflitos de dependência problemáticos e problemas de driver, mas graças a Ollam, esse problema não existe há cerca de três anos. Todo o backend é instalado com um único comando e, a partir daí, extrair um modelo é tão fácil quanto saber literalmente seu nome.
Um mérito importante, mas muitas vezes subestimado, do Ollam é o fato de que ele também lida automaticamente com a seleção de quantização com base na VRAM disponível. Em um cartão de 8 GB, isso significa que ele escolhe o formato correto de 4 bits sem intervenção do usuário. Se o modelo for um pouco grande para caber na VRAM, ele divide as camadas novamente entre a GPU e a RAM do sistema, sozinho e sem um segundo de configuração.
Minha segunda estação de trabalho, que é uma 2070S com Ryzen 5 5600, roda dois modelos aos quais volto diariamente. A primeira é uma iteração mais leve do 8B Qwen3-Coder que uso para ajudar a escrever utilitários Python. O segundo é o muito versátil Gemma 4 E4B, que é quase tão bom quanto o ChatGPT para consultas gerais, coleta de documentos e qualquer tipo de conversa. Embora para quem não está acostumado com um ambiente CLI, o LM Studio fornece uma GUI de desktop com um navegador de modelo integrado com uma experiência significativamente mais de apontar e clicar.
Claro, existem limites razoáveis
Algumas coisas a considerar antes de cancelar suas assinaturas na nuvem
Ninguém quer pagar um provedor de nuvem, a menos que a proposta de valor seja excepcional ou necessária. Antes de se comprometer cem por cento com uma pilha de IA nativa, a coisa mais importante a fazer é pesquisar seu fluxo de trabalho específico, em vez de procurar uma classificação de referência de modelos. Nem todos os modelos que apresentam bom desempenho nas avaliações gerais serão necessariamente os mais adequados para as tarefas diárias.
Uma métrica útil que costumo observar são os tokens de saída por segundo. Um modelo capaz que gera cerca de 10 tokens por segundo parecerá lento e provavelmente desacelerará seu fluxo de trabalho de codificação e contribuirá para a fadiga digital mais do que poderia aumentar. Outros fatores importantes são o tamanho da janela de contexto (em termos de quantos dados podem ser armazenados na memória de trabalho do modelo), o suporte para chamadas de ferramentas e, claro, quão bem o modelo lida com seu domínio específico.
Fingir que VRAM não é uma limitação seria tolice. Com 8 a 10 GB de VRAM, você tem um subconjunto capaz de modelos para escolher, mas geralmente um modelo de linguagem pequena seria a escolha certa em vez de uma versão quantitativa maior para obter melhores resultados.
Este é um ótimo momento para IA nativa
Há três anos, ninguém poderia prever que uma GPU lançada em 2019 se tornaria parte do fluxo de trabalho de IA em 2026, mas parece ser exatamente o que está acontecendo. Ferramentas EM, de quantificação e de acessibilidade, como Ollama e LM Studio, prolongaram a vida útil de mapas de três gerações e são um recurso subestimado nas mãos de usuários que buscam aumentar seus fluxos de trabalho sem comprometer a funcionalidade, a velocidade ou a privacidade.
