Parei de tentar substituir meus LLMs na nuvem e os modelos locais finalmente fizeram sentido

A ideia de tudo funcionar localmente sempre me atraiu. Eu troco por uma alternativa auto-hospedada para qualquer serviço que irá utilizá-la. Isso economiza muitas taxas mensais, mantém meus dados fora de servidores de terceiros e não exige que eu dependa da disponibilidade do serviço de outra pessoa. Tentei aplicar essa mesma filosofia à IA usando alguns modelos diferentes de Ollam, na esperança de que isso eventualmente eliminasse a necessidade de modelos de nuvem como ChatGPT e Claude.

Não é por falta de tentativa, mas cheguei à conclusão de que estava demasiado optimista para acreditar que os modelos locais poderiam substituir completamente os seus homólogos baseados na nuvem. Não há dúvida de que os LLMs locais melhoraram dramaticamente nos últimos anos, mas os modelos de nuvem sempre conseguem ficar alguns passos à frente deles. Depois de meses tentando diminuir a distância entre eles, comecei a repensar minha estratégia.

Comecei a usar modelos locais para coisas em que eles são realmente excelentes e recorro a fornecedores confiáveis ​​quando necessário. É aqui que meu fluxo de trabalho é finalmente resolvido e estou mais feliz com essa configuração do que quando tentava teimosamente executar tudo em minhas máquinas locais.

A diferença entre os modelos on-premise e na nuvem é muito grande

Tentei fazer apenas um clique de configuração local, mas não consegui

Os LLMs nacionais têm uma desvantagem óbvia que não é difícil de enfrentar. Assim que você pede à IA nativa para fazer algo complexo, como concluir uma tarefa de várias etapas ou interpretar uma escrita complexa com nuances apropriadas, ela rapidamente desmorona. E você pode esquecer de manter o contexto em longas conversas; simplesmente não é. Quanto ao código, Claude pode lidar com as tarefas com pouco esforço em comparação com meu modelo local Qwen2.5-Coder, com quem eu teria que gastar tempo discutindo para obter um resultado que valesse a pena usar.

No começo percebi que era uma questão de encontrar os modelos certos, usar prompts melhores e ajustar os parâmetros. Mas depois de brincar com eles por algumas semanas, acho que os LLMs nativos simplesmente não conseguem tocar nos modelos de nuvem para tarefas pesadas. Não me interpretem mal, o poder da IA ​​nativa ainda é impressionante, mas os resultados inconsistentes são um obstáculo demais para eu lidar quando preciso realizar um trabalho real em projetos importantes.

Reconheço que estava relutante em reconhecer o poder dos modelos de nuvem sobre os LLMs locais com base nos meus primeiros princípios locais. Mas em algum momento tive que deixar meu lado pragmático vencer. Meu foco mudou da substituição de modelos de nuvem para descobrir que trabalho eu poderia delegar aos LLMs locais e quais tarefas seriam melhor realizadas pelo ChatGPT e Claude. Ainda acho uma vantagem poder colocar cargas de trabalho pesadas em modelos locais e reservar apenas solicitações ocasionais para a nuvem, evitando assim a necessidade de pagar por um nível de assinatura mais alto.

Onde os modelos locais ganham dinheiro

Tarefas privadas, repetitivas e simples são onde elas brilham

Existem alguns casos de uso excelentes que me fazem buscar modelos nativos. O maior deles é a privacidade. Há algumas coisas que não quero deixar no meu computador, como documentos confidenciais, informações pessoais e códigos internos que sou contratualmente obrigado a manter em segredo. Embora os modelos de nuvem superem a IA nativa em algumas dessas tarefas, um modelo local é melhor, como coletar documentos legais ou revisar códigos que não posso compartilhar externamente.

Tarefas repetitivas e automatizadas são outro ponto forte dos modelos nativos. Eu escrevi um script Python que durante a noite alimenta os artigos salvos em um modelo de lhama local para resumo. Este é um bom exemplo de algo que o ChatGPT provavelmente poderia fazer um pouco melhor, mas é uma tarefa de baixo risco que o modelo nativo lida bem o suficiente. Isso também me evita usar créditos de API para algo que não é tão importante em primeiro lugar. Para esses tipos de tarefas diárias em segundo plano, os modelos nativos são perfeitos.

Também mantenho o modelo local integrado ao VS Code para preenchimento automático usando a extensão Continue. O Copilot supera sugestões complexas, mas o padrão nativo funciona bem para preencher formulários, nomes de variáveis ​​e preencher padrões periódicos. O modelo leve Qwen é ótimo para isso devido à baixa latência. Está sempre disponível e não preciso pagar mensalidade por algo que o modelo local possa administrar adequadamente.

Use a ferramenta certa para o trabalho

Se houver consequências reais em dar uma resposta errada, busco o modelo de nuvem sem pensar duas vezes. Como um ávido trabalhador doméstico, usar modelos de nuvem não é tão conveniente ou tão satisfatório quanto a autossuficiência, mas é inegavelmente a escolha certa para as tarefas mais importantes. A maneira mais simples de pensar sobre isso é que as tarefas privadas e repetitivas permanecem no local e as tarefas complexas e importantes são movidas para a nuvem. Meu objetivo nunca foi administrar um LLM local por si só, mas conseguir um fluxo de trabalho melhor, que é o que minha filosofia atual faz.