A execução local de modelos de IA começou como um experimento de produtividade para mim. Usando o Ollama, pude testar diferentes LLMs em meu hardware e usá-los para compilar documentos, trabalhar com notas, analisar PDFs e entender códigos. Mas em algum momento ao longo do caminho, fiquei mais interessado em experimentar novos modelos do que em melhorar a forma como realmente uso a IA.
Cada novo lançamento do LLM parecia algo que eu precisava verificar e guardar. Minha configuração local continuou a crescer, mas minha produtividade não melhorou. Eventualmente percebi que estava tratando os modelos de IA como Pokémon. Tentei coletar todos eles quando só precisava de alguns bons.
Minha configuração de IA lentamente se transformou em um cemitério
Baixei modelos mais rápido do que poderia realmente usá-los
Quando comecei a experimentar modelos nativos de IA, queria experimentar quase tudo. Baixei Llama, Mistral, DeepSeek, Qwen, Gemma, GPT-OSS e diversas variantes desses modelos. Cada novo lançamento parecia promissor, e como Ollama e LM Studio tornaram a criação de um modelo tão fácil, raramente pensei duas vezes antes de adicionar outro.
O problema é que quase nunca usei a maioria deles depois dos testes iniciais. Eu executaria alguns prompts familiares, compararia a resposta com meu modelo atual e seguiria em frente. Um modelo ficava no meu SSD por semanas ou meses, esperando por um caso de uso que nunca apareceu.
A certa altura, eu tinha uma longa lista de modelos, mas ainda contava com os mesmos dois ou três para quase tudo. Não estou construindo uma configuração de IA melhor. Eu estava apenas colecionando modelos e desperdiçando armazenamento em um cemitério de modelos em crescimento.
Perseguir o benchmark piorou o problema
Comparei números que pouco tinham a ver com meu trabalho
Em No início da auto-hospedagem local do LLM, os benchmarks eram fortes impacto em como avalio o modelo de IA. Eu observaria as pontuações de raciocínio, codificação e execução de instruções e presumiria que o modelo mais acima no gráfico era automaticamente a melhor escolha. As comparações pareciam objetivas, por isso foi fácil confiar nelas.
No entanto, essas métricas raramente refletiam como eu realmente usei a IA. Passo mais tempo compilando documentação extensa, extraindo informações úteis de arquivos PDF, debatendo ideias e entendendo o código existente. Um modelo pode funcionar muito bem usando um benchmark popular e ainda assim produzir um resumo desnecessariamente longo ou levar muito mais tempo para concluir uma tarefa básica.
Também comecei a notar que pequenas diferenças no benchmark eram quase impossíveis de serem notadas durante o uso regular. Percebi a velocidade de resposta, o uso de recursos e se tive que redigitar o prompt três vezes. Eu estava prestando atenção nos números errados. Minhas tarefas diárias eram uma referência muito melhor.
Eu dei a cada modelo um trabalho
Minha lista de padrões finalmente fez sentido
A maior mudança que fiz foi simples: cada modelo da minha configuração precisava de um propósito claro. Em vez de escolher um com base no que eu queria usar naquele dia, comecei a atribuir modelos às tarefas nas quais eles funcionavam melhor.
Eu uso o DeepSeek 14B para a maioria das minhas tarefas diárias porque ele funciona perfeitamente no meu hardware e responde rapidamente. Para documentação mais longa e análise de PDF, mantenho o GPT-OSS 20B. É mais lento, mas acho que suas respostas são mais detalhadas e diferenciadas quando a tarefa requer uma análise mais profunda. Qwen 2.5 Coder é minha escolha para entender códigos desconhecidos, depurar e reconstruir trechos existentes.
Essa pequena mudança na minha configuração eliminou uma quantidade surpreendente de atrito. Não perco mais tempo alternando entre cinco modelos para ver qual deles oferece uma resposta um pouco melhor. Já sei qual modelo abrir para a tarefa. Mais importante ainda, cada modelo agora precisa conquistar seu próprio lugar na minha configuração.
Estou mais focado no meu fluxo de trabalho de IA do que em um conjunto de modelos
Melhores conexões fizeram mais diferença do que melhores modelos
Depois que parei de gastar tanto tempo pensando em padrões, comecei a melhorar o fluxo de trabalho em torno deles. Acabou tendo um impacto muito maior na utilidade da IA nativa para mim. Conectei Ollama com Logseq, Home Assistant, Paperless-ngx, Obsidian e VS Code para poder usar IA mais perto de onde meu trabalho real acontecia.
Posso trabalhar com minhas anotações sem copiar tudo em uma janela de bate-papo separada. No VS Code, posso fazer perguntas sobre o código existente enquanto já o estou analisando. Também uso o Open WebUI como interface principal para uma experiência regular de bate-papo com IA.
Essas mudanças podem não parecer tão empolgantes quanto testar um modelo recém-lançado, mas vejo seu impacto todos os dias. Remover copiar e colar e alternar constantemente entre aplicativos economiza mais tempo do que um pequeno aumento na qualidade do modelo. Agora me preocupo mais com onde a IA se encaixa em meu fluxo de trabalho do que com quantos modelos estão instalados em meu computador.
Ainda estou testando os novos modelos mas ainda não colecionei todos
Não parei de experimentar novos modelos de IA. Ainda fico intrigado quando um modelo promissor é lançado, especialmente se afirma ser mais rápido, mais leve ou melhor em uma tarefa específica. A diferença é que não guardo mais tudo que verifico.
Um novo modelo agora deve oferecer uma melhoria significativa para permanecer na minha configuração. Se melhor atender às minhas necessidades, poderá substituir o modelo existente. Caso contrário, eu o removo e sigo em frente. Sempre haverá outra formatura de LLM chegando. Ainda gosto de experimentá-los, mas não sinto mais necessidade de pegá-los todos.
