Em meus 23 anos observando a indústria de software na Internet, percebi um padrão recorrente que se tornou cansativo com o tempo. Os serviços começam gratuitamente, tornam-se hábitos e, eventualmente, começa o atrito. Um dia você está na fila de processamento como usuário gratuito, suas cotas de uso mensal se esgotam no meio das tarefas e recursos úteis aparecem por trás da assinatura “Pro”. É claro que isso não torna os níveis gratuitos completamente inutilizáveis, mas torna mais atraente retirar um cartão de crédito.
O a ascensão de LLMs locaisTenho sido muito especial nesse aspecto. Se eu tiver um modelo de peso aberto capaz que seja executado no hardware que possuo, não esteja em camadas, não seja regulamentado e não importa quantas solicitações eu faça naquela semana, o poder será devolvido a mim como um usuário avançado. Aqui estão os quatro trabalhos diários que delego ao grupo LLM local e os motivos pelos quais nunca pagarei uma assinatura SaaS por um deles.
Eu organizei as notas escritas às pressas
Gemma 4 lê minha caligrafia e as informações não vão para o servidor em nuvem
Se há algo que nenhum profissional ou estudante pode evitar são as anotações manuscritas. Depois de uma palestra ou reunião, você encontrará uma pilha em sua mochila e provavelmente contém todas as informações essenciais de que poderá precisar mais tarde.
Resolvê-los apresentava dois problemas diferentes, dependendo do chapéu que eu estava usando. Quando estudante, era uma organização, porque boas ideias espalhadas por uma dúzia de páginas preenchidas pela metade são funcionalmente iguais a nenhuma ideia. Como profissional, era uma questão de confidencialidade. Minhas notas detalham procedimentos internos de escalada de risco e conformidade de crimes financeiros, e nenhum serviço de nuvem jamais recebeu uma foto desta página.
Felizmente, os LLMs locais resolveram os dois problemas ao mesmo tempo. A visão 4 de Gemma significa que não preciso mais sentar e adivinhar minha caligrafia por uma hora, olhando para um rabisco que escrevi às pressas há três dias. Posso simplesmente tirar uma foto de uma página, fazer com que o modelo a leia e ela volta reescrita, estruturada e pesquisável sem que um único byte saia da minha máquina. Agora é um processo de arrastar e soltar, do jeito que eu queria.
Transcrição e compilação de notas de áudio
Porque Gêmeos não é convidado para todas as reuniões
Agora, isto pode não ser uma surpresa para ninguém, mas nem todas as organizações permitem que um anotador virtual entre na sala e, na minha experiência, os assuntos regulatórios preferem o método antigo. Nenhum bot na chamada, nenhum serviço de transcrição de escuta e nenhum áudio indo do prédio para um servidor de terceiros, para que as pessoas jurídicas não tenham que trabalhar horas extras mais tarde. As chamadas de conformidade envolvem discussões realmente delicadas, e essas estruturas de risco empresarial existiam por um bom motivo.
A maneira antiquada de fazer anotações também tem suas desvantagens antiquadas. Você pode esquecer informações, se distrair ou simplesmente perder informações importantes porque seu colega decidiu compartilhar fotos do cachorro dele naquele momento. Mesmo que você não perca nenhuma informação importante, fica difícil fingir que o progresso tecnológico dos últimos cinco anos simplesmente não aconteceu. Infelizmente, um modelo que não é convidado para uma reunião não pode preparar um resumo dos itens acionáveis.
No entanto, se você tiver um registro, os modelos locais poderão fornecer exatamente isso. Através Sussurraré possível transcrever a gravação totalmente offline e, a partir daí, o LLM assume, resumindo a discussão e retirando itens de ação, tudo sem sair do aparelho.
Revisando meus e-mails e trabalhos escritos
Não, obrigado, Grammarly. Já estou farto.
Todo mundo já passou por um momento na vida em que um erro de digitação levou a uma situação embaraçosa, e eu me recuso a deixar isso acontecer comigo, para que meu cérebro não repita isso às 3 da manhã durante anos. LLMs nativos, com seus 9 bilhões de parâmetros, são um pouco exagerados para capturar um apóstrofo perdido, por assim dizer, mas é exatamente por isso que são inúteis.
Também não há sugestões de sinais de gatekeeping premium, nem extensões de navegador que monitorem todos os campos de cada página que visito e nenhum cartão esperando para cobrar US$ 9,99 no momento em que o teste gratuito terminar. Posso sempre colar um rascunho e ele verifica a gramática, detecta frases e fraseologia estranhas que perdi e me diz honestamente se o e-mail parece mais passivo-agressivo do que eu pretendia.
Sobrevivendo às minhas finanças
Análise de tendências gratuita e confidencial em um documento que não deve ser carregado em lugar nenhum
Para aqueles que não estão familiarizados com o estado da IA na nuvem, o resultado final é que estes serviços estão longe de ser rentáveis, e alguns fornecedores, como a OpenAI, já começaram a anunciar os seus utilizadores gratuitos. Como você pode imaginar, provavelmente não é a melhor ideia inserir suas informações financeiras confidenciais em um modelo como esse, mesmo que você não seja uma daquelas pessoas que evita o IRS.
Embora a maioria dos aplicativos bancários agora ofereça tendências de gastos, a IA nativa vai um passo além, permitindo que você questione e repense suas decisões de compra por impulso. Isso significa que você pode perguntar se o EV específico que você está financiando o colocará de volta no depósito hipotecário para o qual está economizando e obter uma resposta honesta em vez de um gráfico de painel.
A IA nativa bagunçou a economia de assinaturas, pelo menos para mim
Se alguém tivesse me dito há cinco ou talvez três anos que eu poderia executar um assistente inteligente com vários bilhões de parâmetros gratuitamente em meu desktop, em meu próprio hardware, com total privacidade dos olhares indiscretos dos provedores de serviços em nuvem, eu provavelmente teria presumido que sofri um acidente e que isso fazia parte da vida após a morte, onde eles continuam acreditando em coisas boas. Mas acontece que tudo é muito real e possível, e não aproveitar ao máximo seria um verdadeiro erro, principalmente quando você tem uma GPU que pode fazer tudo por você.
