Optei pela IA na nuvem para esses três modelos nativos e minha GPU de 8 GB lida com todos eles

IA nativa tornou-se muito mais acessível e rápido nos últimos anos, mas o mesmo não pode ser dito das GPUs econômicas lançadas recentemente. Se você se aprofundar no mercado de GPU, descobrirá que as GPUs Blackwell e RDNA Classe 4 ainda vêm com 8 GB de VRAM, uma configuração que a maioria das pessoas inicialmente consideraria inadequada para qualquer carga de trabalho de IA.

Então, é claro, por muito tempo eu desqualifiquei mentalmente meu RTX 2070 Super, ainda capaz, de qualquer inferência de IA local, até que decidi executar alguns modelos com ele por meio de Ollam por curiosidade. Depois de executar esses quatro modelos, estou confiante de que posso esperar muito mais da minha antiga GPU Turing em 2019 do que imaginava. Aqui estão os padrões que levaram a esta revelação.

GLM-4.6V-Flash 9B é um modelo de cartão de 8 GB com capacidade de visão que é muito necessário

Posso inserir capturas de tela e esperar respostas sem nuvens

Não há muitas opções quando se trata de modelos de visão quando você está sentado com apenas 8 GB de VRAM, principalmente porque os modelos multimodais reservam uma certa quantidade de VRAM para um codificador de visão dedicado antes de começarem a processar imagens. No meu RTX 4070 Ti Super, essa superfície é quase imperceptível graças aos 16 GB de memória GDDR6X, mas no meu RTX 2070 Super, muitas vezes significa a diferença entre um modelo que se encaixa perfeitamente na VRAM e outro que transborda na memória do sistema pouco antes de começar a rastejar, tornando-o completamente inutilizável.

Lanterna GLM-4.6V é um modelo que resolve esse problema. No Q4_K_M, ele pode acomodar facilmente 8 GB, lidar com contextos curtos com rapidez suficiente para que não seja um problema e pode ler todas as dezenas de capturas de tela que postei no bate-papo com notável precisão. Este modelo facilita o isolamento dos dados de benchmark que procuro e a consulta de folhas de especificações que posso retirar da minha área de trabalho e soltar. O comprimento do contexto permite algumas melhorias à medida que o desempenho diminui além de cerca de 16.000 tokens, mas é por isso que eu o uso apenas para sessões mais curtas.

Qwen3.5 4B é leve e poderoso para codificação

O que torna possível a codificação de vibração no 2070 Super

Sempre fui cético em relação aos recursos de codificação dos modelos leves, mas o Qwen3.5 4B é talvez o primeiro modelo a abalar minhas reservas. No Q4_K_M, ele ocupa insignificantes 2,5 GB de VRAM, deixando bastante espaço para contexto. Com suporte para até 256.000 tokens, é perfeito para codificar todos os utilitários Python com os quais abasteço meu SSD com base em todas as faíscas aleatórias de ideias que costumo ter ao longo do dia.

Como você pode esperar, esse modelo não é confiável para tarefas de engenharia de software de vários arquivos baseadas em agente, mas não é para isso que você usa o modelo 4B. Essas tarefas são mais adequadas para o Qwen3-Coder 30B e, se você tiver VRAM para isso, deve ser a escolha óbvia, dada a facilidade com que supera a maioria dos outros modelos nativos na área. No entanto, para a codificação de arquivo único e problema único que estou usando nesta configuração específica, esse padrão substitui todas as minhas viagens ao ChatGPT e salva meus tokens que seriam gastos no código de Claude.

O Gemma 4 E4B foi um pau para toda obra inesperado

Com muitas opções, é fácil encontrar um modelo Gemma para sua necessidade

O Gemma 4 é talvez a entrada menos surpreendente da lista, dada a popularidade da série de modelos abertos do Google. Agora, há muitos motivos pelos quais você pode querer o modelo Gemma 4 em sua pilha de IA local, porque, simplesmente, não há tarefas pelas quais a família de modelos o decepcione. Para tarefas de brainstorming e análises, o Gemma 4 E4B conquistou um lugar permanente em ambas as minhas configurações, incluindo aquela que executa o RTX 2070 Super, é claro.

Posso alimentá-lo com planilhas do Excel para rastrear várias despesas, compilar notas de pesquisa de uma semana e, claro, voltar para consultar esses conjuntos de dados porque é uma janela de contexto de token extremamente grande de 128K. Isso significa centenas de páginas de texto, PDFs inteiros, guias dos quais desejo lembrar informações e outras coisas às quais preciso ter acesso rápido. Para Q4_K_M é compatível com VRAM e oferece o equilíbrio certo entre qualidade e uso de memória. Com cerca de 68 tokens gerados por segundo, as respostas também são quase instantâneas.

8 GB de VRAM não são mais desculpa para não executar mais IA nativa

Muitos entusiastas ainda assumem automaticamente que estão impedidos de se beneficiar da IA ​​nativa devido a limitações de hardware (bem, especificamente de VRAM). Todos os modelos que testei com o 2070 Super pareciam provar o contrário. Técnicas modernas de quantização e design de modelo mais inteligente permitiram que as GPUs Turing de 2019 escrevessem código, simplificassem tarefas de produtividade e, talvez o mais importante, permitissem inferência privada que protege arquivos confidenciais de servidores remotos. A maioria dos usuários preocupados com privacidade de dados ou custos certamente encontrará casos de uso para esses modelos.