Abandonei o LM Studio por uma alternativa de código aberto e meu modelo nativo faz coisas que não conseguia antes

Meu login para auto-hospedagem nunca funcionaria através do terminal, então a instalação com um clique do LM Studio e a GUI limpa é o que me fez executar modelos locais e tem sido meu padrão desde então. Mas quanto mais confio na IA nativa, mais me deparo com coisas que o LM Studio não faz ou me obriga a configurar manualmente. Recentemente, isso me levou ao llama.cpp e, embora tenha uma GUI, você ainda precisa de um terminal para executá-lo.

Então eu queria algo que fosse o melhor dos dois mundos. GUI primeiro, como o LM Studio, mas de código aberto, não atrás de um terminal. Jan continuou aparecendo em círculos de auto-hospedagem, então finalmente verifiquei, trouxe meu modelo e coloquei-o em minha configuração local habitual.

Por que eu passei pelo LM Studio

John tem um pouco mais a oferecer

Na verdade, não abandonei completamente o LM Studio, acho que ainda é o primeiro corredor mais fácil para quem está entrando na IA nativa. Mas já estou superando isso há algum tempo, principalmente porque o espaço local de LLM está crescendo e o LM Studio é conservador no que oferece. As coisas que continuo querendo geralmente são mais recentes e o LM Studio não as possui ou requer configurações indiretas. O suporte do MCP é o caso mais claro – é, mas você precisa juntar as peças. E também não tem suporte de áudio, então fui para llama.cpp porque ele suporta recursos em modelos mais recentes que o LM Studio não oferece.

Jan fica bem entre os dois. GUI primeiro, como o LM Studio, mas de código aberto com coisas mais modernas já integradas e é um aplicativo de desktop. Esta é uma diferença real do LM Studio, que é de uso gratuito, mas proprietário e fechado. Toda a filosofia de Jan é local primeiro e o arquivo acima do aplicativo, portanto, cada arquivo de bate-papo, configuração e modelo está no meu disco em formatos que posso abrir e mover sozinho. A interface do usuário foi projetada deliberadamente no estilo ChatGPT e é apenas uma boa opção para pessoas que gostaram da GUI do LM Studio, mas desejam um pedigree de código aberto e mais novos recursos em um aplicativo.

Eu trouxe meu modelo

No local, na nuvem ou ambos: Jan não faz você escolher

A primeira coisa que me impressionou é que Jan não é apenas um morador local. Ele já vem com cerca de uma dúzia de provedores remotos, então, se eu quiser apontar para minha assinatura Claude ou ChatGPT, posso inserir uma chave de API e usar uma interface para meus modelos locais e de nuvem. Há também um provedor Hugging Face Router que me oferece modelos hospedados como Kimi-K2 e DeepSeek-R1 com base no pagamento conforme o uso, sem uma conta para cada provedor subjacente.

Mas eu queria testar Jan como corredor local, então trouxe minha Gemma 4 E4B GGUF de Abraço caraé a minha escolha para bate-papo diário e trabalho criativo, pois é um modelo multimodal rápido e conversacional que funciona muito bem com meus 8 GB de VRAM. Em vez de baixá-lo novamente usando Jan, apenas importei os arquivos existentes usando a importação Llama.cpp. Na verdade, mudei o GGUF para uma pasta limpa primeiro porque estava próximo a vários binários llama.cpp e aos links de Jan para os arquivos, em vez de copiá-los. Se eu limpasse esta pasta mais tarde, isso quebraria o modelo.

Ao contrário do LM Studio, Jan oferece suporte a áudio, então pude usar o recurso de áudio do Gemma junto com o upload de imagens e documentos, o que foi um dos maiores benefícios dessa troca.

Configuração do MCP que faz sentido

A automação do navegador não exigia uma conexão permanente

Foi aqui que Jan me ultrapassou no LM Studio. Primeiro, um rápido esclarecimento porque o nome me surpreendeu. Jan Browser MCP é um servidor MCP que vem pré-configurado dentro de Jan e roda via npx com uma ponte STDIO para a extensão do Chrome que está do outro lado dele. Então toda configuração é instalação Extensão do Chrome e ligar o servidor nas configurações, sem editar o JSON ou o servidor para cadastrar manualmente. Compare isso com meu Brave Search MCP no LM Studio, que tive que construir editando o JSON e adicionando uma chave de API antes de reiniciá-lo e depurá-lo.

Jan Browser MCP funciona em qualquer navegador Chromium, então minha instalação do Brave funcionou bem. Depois de instalado, bloqueei as permissões da extensão no Brave: o Site Access está definido como On Click, então só funciona quando eu o chamo. Também desativei-o em janelas privadas e Tor e desativei o acesso ao URL do arquivo. As ferramentas do navegador do agente têm permissões amplas por design, portanto, limitar seu tempo de execução é importante para reduzir o risco de injeção instantânea.

E então o navegador funcionou perfeitamente em janeiro; meu modelo foi capaz de obter dados ao vivo sem complicações. Jan também faz uma pesquisa na web usando Exa como ferramenta, então não preciso de um navegador para pesquisas rápidas e fáceis. Qualquer coisa além do conteúdo listado em janeiro por padrão, você pode capturar de mcp.so diretório e insira você mesmo a conexão usando as configurações dos servidores MCP.

Jan é um meio-termo que eu gostaria de encontrar mais cedo

Jan forneceu o lado amigável da GUI sem abrir mão do lado do código aberto, e eu gostaria de ter tentado antes, em vez de mudar do LM Studio para o llama.cpp e ignorá-lo imediatamente. O lado da privacidade também é melhor que o LM Studio porque o código pode ser auditado no GitHub e a filosofia de transferência de arquivos para o aplicativo mantém meu histórico de bate-papo e configurações em um formato simples no meu dispositivo.

Os controles de parâmetros também são mais profundos. Jan revela amostras avançadas de llama.cpp como DRY, que o LM Studio ainda não faz, bem como Mirostat e temperatura dinâmica, bem como controles de nível inferior, como substituição de buffer de tensor e posicionamento de MoE. A maior parte está diretamente no pop-up de configurações do modelo, sem sair da GUI. Em última análise, Jan é o meio-termo perfeito entre a simpatia do LM Studio e a abertura do llama.cpp.