Apesar de estar no jogo de IA desde antes de ChatGPT se tornar um nome familiar, o mundo dos LLMs locais costumava me assustar. O interessante aqui é que nunca foi a qualidade que me assustou. Em vez disso, estava por toda parte. A configuração parecia complicada, exigia bastante esforço técnico e parecia exigir um hardware muito mais poderoso do que qualquer coisa que eu possuísse. Além disso, ver meus colegas do XDA falarem sobre todos os tipos de coisas sobre auto-hospedagem e palavras aleatórias como Docker, contêineres e servidores domésticos me convenceu de que isso não era para mim.
Porém, o mundo dos LLMs locais tornou-se muito mais acessível e a barreira que criei na minha cabeça já não corresponde à realidade. Então, substituí todos os aplicativos LLM instalados no meu telefone por um modelo nativo por uma semana. E embora haja muito o que amar no arranjo, aqui está o que eu tive que desistir no processo…
LLMs locais agora podem fazer muito no seu telefone
A barreira estava principalmente na minha cabeça
Antes de entrar nos compromissos que acompanham essa configuração, devo deixar claro o que realmente estou executando e os benefícios. Meu driver diário aqui é o Gemma 4-E2B-it, um modelo de 2,54 GB que instalei usando o aplicativo AI Edge Gallery do Google e agora está totalmente funcional no meu iPhone 15 Pro Max. Como mencionei na introdução, o mundo dos LLMs locais tornou-se significativamente mais acessível, e minha configuração reflete isso muito bem. Bastava instalar o aplicativo e depois o modelo.
Depois de baixado, ele é executado no seu dispositivo e tudo depois disso acontece offline. Tem sido impressionante o suficiente para relegá-lo à maior parte do meu uso diário de IA de baixo risco: limpar e-mails, explicar conceitos dos quais me lembro parcialmente da palestra, quebrar códigos nos quais estou preso, converter unidades entre receitas.
Também uso para coisas particulares: uma mensagem para meu agente de viagens com o número do meu passaporte, uma captura de tela de um DM que quero ler novamente, uma pergunta incompleta sobre minhas finanças que não preciso mais editar porque nada sai do telefone. Ele ainda responde a perguntas visuais rápidas com o Ask Image e lida com a transcrição com o Audio Scribe.
Dado que os LLMs locais também funcionam offline, confio neles quando estou completamente sem sinal, como quando estou em um voo sem Wi-Fi. Por tudo isso, supera facilmente a barra. Finalmente, como os LLMs locais são executados inteiramente em seu próprio hardware e não há nenhum servidor envolvido, não há necessidade de se preocupar com limites de velocidade. Passei muito tempo e energia reclamando dos limites do Anthropic para Claude, e o fato de que cada consulta trivial que envio para Gemma nunca atinge minha cota tornou esses limites muito menos irritantes.
LLMs locais não são úteis se a questão for agora
Congelado no tempo e isso mostra
Ao baixar o LLM nativo para o seu dispositivo, você está essencialmente instalando tudo e qualquer coisa que ele conhece e usará para responder. Grandes modelos de linguagem são treinados usando enormes conjuntos de dados, e esse treinamento transforma tudo o que o modelo aprende nos chamados pesos – bilhões de números que codificam os padrões resultantes. Essas balanças são o modelo completo e são o que você baixa para o seu dispositivo, não para o servidor de outra pessoa.
Agora, todos os dados de treinamento do modelo que você está usando têm um ponto de corte, que é a data após a qual o modelo simplesmente não viu nada. Tudo o que o modelo sabe está congelado naquela balança naquele momento. Isso não se aplica apenas aos modelos que você usa localmente. Até o Opus 4.8 e o Fable 5 e o GPT 5.6 têm uma pausa no tutorial. Todo modelo faz isso, e a diferença é o que acontece a seguir.
Quando você pergunta a Claude ou Gêmeos sobre algo que aconteceu esta manhã, eles podem acessar a web, obter resultados em tempo real e incluí-los em suas respostas. O modelo de telefone local não pode fazer isso por padrão e só funciona com o que está embutido nessas escalas. Isto significa que no momento em que a minha pergunta se refere a algo recente, não tenho nada a dizer.
Um modelo do tamanho de um telefone tem um cérebro do tamanho de um telefone
Peça demais e as costuras aparecem
Para entender de onde vem esse teto, é útil pensar sobre o que você realmente está enfrentando. Com um modelo de nuvem como Claude ou Gemini, você tem acesso a algo enorme. Esses modelos são executados em enormes infraestruturas de servidores, racks de hardware especializado em data centers, e as versões das quais estamos falando possuem centenas de bilhões de parâmetros. Está no centro das respostas e é por isso que o modelo de nuvem pode armazenar grandes quantidades de contexto em sua cabeça ao mesmo tempo e resolver problemas difíceis sem suar a camisa.
O modelo de 2,54 GB que roda no meu telefone joga um jogo completamente diferente. Tem que ser pequeno o suficiente para caber no dispositivo que uso para todo o resto, o que significa que é uma peça de tamanho pequeno, e essa compensação surge quando as coisas ficam difíceis.
Para as perguntas rápidas e cotidianas que descrevi acima, esse teto nunca se aplica. No entanto, no momento em que entrego algo exigente a Gemma, a ruptura é impossível de ignorar. Tenho notado isso principalmente em trabalhos que realmente me interessam. Quando eu alimento o modelo de nuvem com um documento longo e confuso e peço que ele raciocine, ou quando estou envolvido em um bug em várias camadas e preciso dele para justificar um trecho inteiro de código, a diferença de potência é óbvia. Gemma tentará de verdade, mas as respostas ficarão mais superficiais quanto mais difícil for a tarefa.
Nada disso é uma crítica à Gemma ou aos LLMs locais em geral. Esses modelos de nuvem maiores são executados em toda essa infraestrutura por um motivo, e esperar que correspondam a um download de 2,54 GB nunca foi realista. Então, quando a tarefa é realmente difícil, ainda estou de volta à minha mesa com o modelo de nuvem, porque é exatamente aí que esse tipo de trabalho se encaixa.
Você não percebe o quão importante é um ecossistema até que ele desapareça
O modelo em si é apenas metade da ferramenta
Com a assinatura do Claude Pro, você obtém Claude Code, Cowork, Projetos dentro do Claude, Artefatos, Design e todo um conjunto de conectores que conectam o modelo diretamente às ferramentas que já utilizo. Com uma assinatura do Google AI Pro, você obtém Gemini para Gmail, Docs e o restante do Workspace, bem como NotebookLM, Deep Research, Google Antigravity, Gemini para Google Search e muito mais. Com uma assinatura ChatGPT Plus, você obtém GPT personalizado, Codex, projetos, conectores, criação de imagens, tarefas agendadas, trabalho ChatGPT, exploração profunda, memória e assim por diante.
O ponto comum aqui é que quase nada do que torna essas ferramentas tão poderosas se limita ao modelo bruto em sua essência. É tudo o que é construído em torno disso e de todo o ecossistema com o qual você está lidando. Você está pagando pela capacidade da ferramenta de lidar com seus arquivos, concluir uma tarefa de ponta a ponta, conectar-se a aplicativos onde seu trabalho já reside e lembrar o que você disse na semana passada. Toda essa camada é exatamente o que você está desistindo no momento em que muda para um modelo que funciona inteiramente no seu telefone.
Se você tiver um LLM nativo em seu telefone, basicamente receberá o modelo na caixa por padrão. Ele responderá a qualquer coisa que eu digitar nesse aplicativo, mas não poderá acessar minha caixa de entrada, abrir minha agenda, ler um documento que não colei manualmente ou lembrar de nada da conversa de ontem. Não há nenhum agente executando uma tarefa em segundo plano, nenhum modo de exploração em execução para ler quarenta fontes e nada acontecendo nas ferramentas que estou usando.
Embora eu certamente possa configurar muito disso conectando o modelo aos meus arquivos, fornecendo-lhe ferramentas de chamada, construindo o tipo de integrações que vêm como padrão com uma assinatura na nuvem (ou usando as da comunidade), não está nem perto da integração nativa e profunda que uma assinatura na nuvem oferece quando você se inscreve. Tudo o que vem com uma assinatura de nuvem é algo que eu mesmo preciso montar e mudar para a modelagem local. sobre isso.
Não estou sugerindo que os LLMs locais possam substituir as ferramentas de computação em nuvem nas quais confio todos os dias, porque eles realmente não precisam. Percebi que a melhor configuração não é uma ou outra, mas saber em qual ferramenta confiar em cada trabalho. As coisas rápidas, pessoais, off-line e cotidianas agora estão no meu telefone, rodando de graça e nunca saindo do dispositivo, enquanto o trabalho exigente que exige raciocínio do mundo real, informações em tempo real ou todo o ecossistema vinculado ao modelo ainda vai para a nuvem, onde fico feliz em continuar pagando por isso quando realmente importa!
