Eu uso dois aplicativos para executar IA nativa e cada um faz algo melhor

A IA nativa mudou a maneira como trabalho. Em vez de abrir um navegador e depender de chatbots baseados em nuvem para cada tarefa, agora tenho modelos rodando diretamente no meu computador que estão sempre disponíveis e funcionam perfeitamente com o resto da minha configuração auto-hospedada. Mas à medida que expandi minha pilha de IA nativa, percebi que nenhum aplicativo poderia lidar igualmente bem com todas as partes do meu fluxo de trabalho. Depois de muitos experimentos, parei de procurar uma solução completa. Hoje, conto com dois aplicativos diferentes, cada um desempenhando uma função diferente para tornar meu fluxo de trabalho diário mais rápido e agradável.

Minha configuração de dois aplicativos envolve Ollama e LM Studio

O desempenho no meu hardware é quase idêntico

Quando comecei a executar modelos nativos de IA, continuei procurando um aplicativo que pudesse fazer tudo. Depois de tentar diferentes opções, percebi que esta não é a abordagem correta. Em vez de substituir um pelo outro, acabei instalando o Ollama e o LM Studio porque eles se adaptam a partes diferentes do meu fluxo de trabalho.

Meu desktop tem um processador Intel Core Ultra 9, 32 GB de RAM e uma NVIDIA GeForce RTX 5070, que é mais do que capaz de rodar a maioria dos modelos que uso regularmente. Os modelos em torno de 14B a 20B funcionam bem, então o desempenho não é mais um fator para mim.

O que importa é como interajo com esses modelos. Quando preciso de um back-end confiável ao qual outros aplicativos possam se conectar, recorro ao Ollam. Se eu quiser apenas conversar com uma modelo, comparar respostas ou tentar algo novo sem tocar em um terminal, abro o LM Studio.

Com o tempo, parei de pensar neles como aplicativos concorrentes. Eles resolvem problemas diferentes e juntos tornam o trabalho da IA ​​nativa muito mais conveniente. Em vez de me forçar a escolher um vencedor, deixei que cada aplicativo fizesse o que fazia de melhor, o que funcionou muito melhor do que depender de uma única ferramenta.

Ollama é o motor invisível que alimenta tudo

Vence quando preciso de integração

Ollama é a espinha dorsal da minha configuração local de IA. Ao contrário da maioria dos aplicativos de desktop, raramente interajo diretamente com ele. Acabei de iniciar o serviço, deixá-lo rodar em segundo plano e todo o resto se conecta a ele.

A maior razão pela qual continuo usando o Ollama é seu amplo suporte de integração. Em vez de abrir um aplicativo de IA separado sempre que precisar de ajuda, posso conectar meus modelos locais às ferramentas que já uso. Eu uso Ollama com Logseq para interagir com minhas anotações, Home Assistant para adicionar recursos nativos de IA à minha casa inteligente e Paperless-ngx para analisar e trabalhar com meus documentos. Também o conectei a assistentes de codificação e outras ferramentas baseadas em IA que oferecem suporte ao Ollama.

Como Ollama expõe uma API nativa, ela se tornou o backend para quase todos os fluxos de trabalho de IA que experimentei. Sempre que encontro um novo aplicativo que suporta IA nativa, ele provavelmente já sabe como se conectar ao Ollama. Isso significa que não preciso aprender um novo processo de configuração ou manter vários back-ends de IA.

Para mim, Ollama não é o aplicativo que mais uso; é o aplicativo que faz todo o resto funcionar. Ele alimenta silenciosamente todo o meu ecossistema local de IA e é exatamente por isso que ganhou um lugar permanente no meu computador.

O LM Studio me oferece a melhor experiência de bate-papo na área de trabalho

Isso torna a experiência cotidiana muito mais agradável

Enquanto Ollama cuida de tudo nos bastidores, o LM Studio é um aplicativo que gosto muito de abrir. Sempre que quero conversar com um modelo local, testar uma nova construção ou comparar como modelos diferentes respondem ao mesmo prompt, geralmente é por aqui que começo.

Um recurso que aprecio é o catálogo de modelos integrado. Posso navegar por milhares de modelos GGUF, verificar seus tamanhos, ler descrições e baixá-los sem precisar pesquisar em vários sites ou lembrar de comandos de terminal. Isto torna a descoberta de novos modelos muito mais acessível, especialmente quando estão disponíveis múltiplas versões do mesmo modelo.

A interface de bate-papo é o principal motivo pelo qual sempre volto. Parece polido, fácil de navegar e não atrapalha. Posso alternar rapidamente entre modelos, revisitar conversas anteriores e ajustar configurações como duração do contexto ou temperatura sem precisar navegar nos arquivos de configuração. Tudo que preciso está disponível através da interface.

O LM Studio também torna a experimentação mais agradável. Quando um novo modelo é lançado, posso baixá-lo, fazer algumas perguntas, compará-lo com outro modelo e decidir se vale a pena mantê-lo. Este processo leva apenas alguns minutos.

Configurar a melhor IA nativa não é escolher um vencedor

Depois de passar muito tempo com os dois aplicativos, percebi que meu fluxo de trabalho é melhor porque os uso juntos, e não porque um substitui o outro. Cada um resolve um problema diferente, o que os torna mais úteis como dupla do que como concorrentes. À medida que a IA nativa continua a melhorar, provavelmente continuarei tentando novas ferramentas, mas não vejo essas duas saindo da minha configuração tão cedo.