Os modelos locais estão expostos a muitas áreas. Raciocínio, chat geral, configurações mobile-friendly, tudo por um pequeno cartão; tudo foi testado até a morte (inclusive eu). A visão é uma das áreas que não aparece tanto nessas interações, o que é estranho porque é a habilidade que mais importa para grande parte do uso diário dos LLMs nativos. Estou constantemente usando a visão para capturas de tela que precisam de ajuda ou apenas fotos aleatórias de coisas que não consigo identificar.
Portanto, desta vez eu queria que os três modelos de visão mais populares funcionassem no mesmo conjunto de tarefas. Uma captura de tela de um problema de depuração, uma interface ocupada com uma tarefa de contagem e uma foto de baixa qualidade de um telefone com algo que precisa ser identificado. Mesmas imagens em todos os três modelos, mesmos prompts, mesmas configurações de parâmetros, então o que voltou depende do modelo, não da configuração.
Quer se manter atualizado sobre as últimas IA? O boletim informativo XDA AI Insider é publicado semanalmente com análises aprofundadas, recomendações de ferramentas e informações práticas que você não encontrará em nenhum outro lugar do site. Assine alterando suas preferências de boletim informativo!
Gemma 4 E4B e seu pequeno cérebro
Ele lê bem o texto, mas fica instável quando a tela fica ocupada
O Gemma 4 E4B é um dos meus pequenos modelos favoritos e estou usando-o de uma forma ou de outra há um minuto. É o multimodal top de linha do Google, com cerca de 4B de parâmetros efetivos, projetado para funcionar em telefones e hardware de baixo custo. Ele lida com entradas de imagem, texto, vídeo e áudio e usa o codificador de visão MobileNet-V5 da linha Gemma 3n, uma configuração leve projetada para rodar no dispositivo. A oferta do Google é que este modelo seja capaz de compreender a tela e a interface do usuário, OCR incluindo escrita à mão, compreensão de diagramas e análise de documentos. Isso é muito ambicioso para algo tão pequeno.
Para um teste de depuração, abri uma nova janela do PowerShell e executei o comando Docker duas vezes para poder acionar um erro real de conflito de porta, depois tirei uma captura de tela da saída do terminal e perguntei ao modelo qual era o erro e como corrigi-lo. Gemma leu o texto corretamente e identificou-o como um problema de ligação da porta 80, onde algo mais no dispositivo já estava usando a porta. Isso sugeriu alterar o mapeamento da porta host no Docker, que é a correção correta. Portanto, começamos bem.
Para o segundo teste, abri a aba de modelos no LM Studio, fiz uma captura de tela da lista completa dos oito modelos que havia instalado e perguntei quantos modelos Gemma eu tinha. Gemma leu a maioria das linhas corretamente, apenas abreviadas. Por exemplo, mistral-community pixtral saiu como mistral-community-p12b. Ele foi colocado nos três modelos Gemma que correspondem ao da imagem. O título estava um pouco perdido, não exatamente errado, mais como ler e simplificar a coluna do arco.
No terceiro teste, tirei uma foto borrada e subexposta de algum remédio e perguntei se conseguia identificar o medicamento. Gemma acertou; leu o rótulo, nomeou corretamente o produto, identificou a classificação como xarope para tosse e detalhou para que servia. As isenções de responsabilidade médica foram abordadas um pouco antes de responder, mas a informação em si estava lá.
Usei Gemma 4 e Qwen 3.5 para as mesmas tarefas locais e um estava quilômetros à frente
Colocá-los uns contra os outros para descobrir o que funciona melhor para meu fluxo de trabalho
Qwen 3.5 9B e olhos combinando
Ele lê tabelas, letras miúdas e sala
O Qwen3.5 9B foi o primeiro modelo importante que funcionou perfeitamente na minha placa, e eu o uso principalmente para pesquisas e trabalhos analíticos mais pesados. Eu realmente não me vejo me afastando disso tão cedo. Seus recursos de visão proporcionam a grande reputação que a família Qwen construiu para a compreensão de documentos e diagramas, e a arquitetura mais recente fornece melhor raciocínio espacial e OCR mais forte, o que significa essencialmente que deve capturar detalhes finos que modelos de visão menores tendem a perder.
Na captura de tela do Docker, ele leu a sequência exata de erros, diagnosticou um conflito de porta e, em seguida, seguiu em frente e me deu quatro correções em ordem, começando pela mais rápida. Também revelou que o IIS no Windows normalmente solicitava a porta 80, que não estava sendo atendida por mais nada.
A questão dos números dos modelos foi o que realmente aconteceu. Contagem correta, nomes corretos, tamanhos de arquivo corretos para todos os três modelos Gemma e o resto da minha biblioteca foi categorizada em segmentos Llama e Qwen sem perguntar. Até sugeriu que eu verificasse digitando “gemma” na barra de pesquisa. Ele vai além da leitura de pixels e realmente entende como a interface funciona.
A imagem da droga era mais do mesmo. Ele leu as letras miúdas, identificou corretamente a teofilina e a difenidramina como ingredientes ativos e captou um aviso de álcool que o modelo menor não percebeu. Ele também respondeu à grafia diferente do inglês na garrafa, em vez de anglicizá-la.
Quase atualizei minha GPU para rodar LLMs nativos maiores, mas este modelo 8B provou que não preciso
A atualização que quase fiz não teria resolvido muita coisa
Ministral 3 3B sabe principalmente o que está olhando
Confiante em alguns testes, convincentemente errado em outros
O Ministral 3 3B é o último lançamento de nível de ponta da Mistral de dezembro de 2025, parte da família Ministral 3 que vai do 3B ao 14B. Todos os três tamanhos são equipados com visão, e a Mistral os destila do Mistral Medium 3.1 maior, que foi projetado para dar aos tamanhos menores mais consciência do modelo maior. Mistral oferece 3B como seu jogo de ponta, roda confortavelmente abaixo de 8 GB quando quantizado, janela de contexto de 256K, compreensão de imagem, funções de agente de chamada. Essencialmente concebido como um multifuncional compacto para uso local e no dispositivo. Foi fácil executá-lo no meu cartão; Eu nem precisei de descarregamento de GPU.
A verificação de erros do Docker correu bem. Ele leu corretamente o texto do erro na captura de tela, identificou a porta 80 como o conflito e me deu quatro correções simples, começando por encontrar o processo por porta usando o netstat. Realmente detalhado e mais próximo do que Qwen realmente produziu.
O teste de número de modelos teve o pior desempenho dos três modelos neste teste específico. Chamou-os de “modelos relacionados com Gémeos” e depois inventou três entradas falsas, incluindo um modelo “gemma” com 76 mil milhões de parâmetros que não existe. Ele não leu a tabela visível. A imagem da droga recebeu uma resposta mista. Nomeou corretamente o medicamento, acertou a classificação genérica, identificou corretamente os princípios ativos e depois inventou outro ingrediente. Por isso, tornou-se confiante em nomear detalhes ficcionais nas letras miúdas.
6 configurações que sempre mudo antes de executar o LLM local
Talvez você não precise de um modelo diferente, mas de configurações melhores
Acontece que os modelos locais ainda estão tropeçando na visão
A visão dos modelos locais está numa situação estranha neste momento. Todos os três podem processar tecnicamente uma imagem, mas apenas um realmente olhou para o que coloquei na frente dele: o Qwen 3.5 9B. Os outros dois alucinaram quando a imagem ficou ocupada ou o texto ficou pequeno, o que vale a pena saber antes de confiar em qualquer um deles para algo importante para o seu fluxo de trabalho.
