A escolha do modelo correto de linguagem grande implantado localmente pode apresentar algumas dificuldades. Por exemplo, LLMs volumosos podem fornecer resultados precisos, mas você precisará de hardware decente para colocá-los em funcionamento. Eu uso modelos Mixture-of-Experts para a maioria das minhas tarefas pesadas de LLM, mas mesmo com sua natureza otimizada, não posso usar o descarregamento do MoE para executar clankers de 35B em sistemas carregados com iGPU com menos de 8 GB de memória.
Enquanto isso, os modelos pequenos abaixo da faixa 7B podem ser adequados para sistemas fracos, mas a compensação pela precisão simplesmente não vale a pena. Ou pelo menos foi o que pensei até rodar o Gemma 4 E4B no meu Raspberry Pi. Depois de testá-lo extensivamente em uma variedade de sistemas, tenho que admitir que este LLM leve tem capacidades de raciocínio surpreendentemente altas para seu tamanho.
O Gemma 4 E4B pode caber em algo tão fraco quanto um SBC
Mas oferece excelente velocidade em minhas estações de trabalho com GPU
Algumas semanas atrás, tentei executar o Agent Suite Pi no meu Raspberry Pi, em parte porque a aliteração parecia engraçada, mas também porque queria avaliar o desempenho do SBC sob cargas de trabalho pesadas no LLM. Então tentei hospedar os modelos de IA que planejava usar com o Pi no meu pequeno companheiro artístico, o que logo se transformou em um desastre. Embora os modelos 1.7-2B pudessem responder a perguntas simples e executar comandos normais de terminal, eles teriam alucinações, entrariam em loops infinitos ou quebrariam completamente como uma extensão utilizável para emparelhar o Pi com o soquete Docker em meu SBC.
No entanto, o Gemma 4 E4B foi o único modelo que produziu resultados sólidos. Ele encontrou automaticamente uma extensão incompleta feita por outro clanker, refatorou a maior parte de seu código e não teve problemas em usá-la para responder às minhas perguntas. Aqui está a parte divertida: apesar de ter a mesma quantidade de conhecimento que um modelo 8B normal, o Gemma 4 E4B usa incorporação em uma camada para reduzir seus parâmetros efetivos para 4,5 B. Veja, a arquitetura PLE atribui uma tabela de incorporação a cada camada do decodificador Gemma 4 E4B, permitindo assim que o modelo acesse mais informações sem usar muitos recursos do sistema.
Como resultado, o Gemma 4 E4B funciona muito bem em sistemas de baixa potência. Considerando que meu Raspberry Pi 5 (8 GB) tem problemas para carregar modelos 6B (e até alguns 5B), o fato de o Gemma 4 E4B rodar no SBC é incrível. Claro, a velocidade de geração de tokens varia de 2,95 a 3,25 t/s, o que não é muito para o trabalho diário. Então, tentei executá-lo em minhas estações de trabalho de hospedagem modelo MoE e funciona muito bem em ambos os sistemas. Minha GTX 1080 pode rodar a 30-40 marcadores por segundo, enquanto meu RTX 3080 Ti pode rodar o Gemma 4 E4B quase o triplo disso. E a melhor parte? Ele suporta processamento de áudio e recursos de visão, tornando-o um LLM completo para inferências rápidas.
Eu até usei para depurar códigos com erros e logs do servidor
Como eu queria testar os recursos de raciocínio E4B do Gemma 4, combinei-o com meus serviços em contêineres que suportam LLM. Para referência, executei o comando llama-server com — mmpros, -jinjae –webui-mcp-proxy sinalizadores para expandir ainda mais suas capacidades de processamento. Primeiro, pedi para coletar alguns arquivos PDF diretamente da interface da web do servidor lhama e ele fez um ótimo trabalho ao extrair informações importantes dos documentos. Também mostrei algumas fotos e pedi que descrevessem o que eram, e não tenho queixas, exceto por um caso em que o modelo não conseguiu detectar um aplicativo em execução no meu laptop (mas, para ser honesto, Kage é uma ferramenta bastante obscura). Como eu tinha um servidor Docker MCP conectado ao servidor lama, usei o LLM para executar alguns comandos de gerenciamento. Embora não fosse possível criar novos contêineres (e já vou abordar isso), ele não teve problemas em extrair novas imagens, inspecionar um ambiente Docker existente ou até mesmo gerar novos comandos de serviço.
Com Open Notebook e Blinko, o Gemma 4 E4B não teve problemas para coletar notas e lidar com consultas RAG. Na verdade, foi capaz de filtrar todas as informações desnecessárias das minhas fontes e responder às minhas perguntas com informações relevantes. Ele também gerou tags para meus contêineres Karakeep e Paperless AI, e obtive resultados decentes quando solicitado a pesquisar códigos com bugs e longos logs de servidor.
Mas não é poderoso o suficiente para substituir meus volumosos modelos EM
Tarefas difíceis são um pouco demais para este pequeno LLM
Por mais que eu adore o Gemma 4 E4B, tenho que admitir que prefiro confiar no meu 26B e no 35B para tarefas de raciocínio complexas. Comparado ao Qwen3.6-35B-A3B, que é capaz de criar contêineres totalmente funcionais usando apenas o nome da imagem, o Gemma 4 E4B falha ao chamar as ferramentas de criação de contêineres do servidor Docker MCP. Além disso, eu não recomendaria pedir para criar versões completas dos Ansible Playbooks, a menos que você queira um código malformado com vários erros.
Também tentei usá-lo como um agente de conversação para meu servidor Home Assistant e, embora os resultados não tenham sido terríveis, ele não conseguiu escolher o dispositivo inteligente certo em meus comandos (reconhecidamente) confusos. Ele também não poderia criar cadeias de automação complexas sem atrapalhar as condições if e then.
No entanto, pretendo integrar o Gemma 4 E4B ao meu fluxo de trabalho LLM. Eu tenho um laptop sobressalente com o velho e confiável GTX 1060 acumulando poeira e com um pouco de magia de rendimento da GPU LXC, o Gemma 4 E4B deve transformar meu antigo companheiro de computação em uma sólida estação de trabalho PVE de hospedagem LXC.
