Para muitas pessoas, o motivo mais atraente para usar um chatbot local é a quantidade de dinheiro que você pode economizar. No momento, executar um modelo nativo em seu iPhone envolve uma compra única máxima de US$ 5
Compare assinaturas de qualquer grande laboratório de IA. Por exemplo, se quiser usar o ChatGPT sem anúncios, você precisa gastar pelo menos US$ 20 por mês Plano Plus da OpenAI. Se você planeja usar o ChatGPT apenas esporadicamente, você pode abandonar o nível Go, mais acessível, ou até mesmo manter a oferta gratuita, mas também precisará considerar limites de taxa. Da mesma forma, os planos de IA do Google começam em US$ 8 por mês, mas você pode gastar US$ 100 por mês em sua assinatura Ultra. Ao executar um chatbot de IA fora do seu iPhone, você pode usá-lo o quanto quiser. Como usuário avançado, você pode exceder seus limites de uso diário com ChatGPT, Claude ou Gemini, a menos que você queira.
Para quem se preocupa com a privacidade, os chatbots locais oferecem outra vantagem. Nenhuma das opções que recomendarei neste artigo exige login ou compartilhamento de dados com laboratórios que treinam os modelos que você deseja executar. Os desenvolvedores do aplicativo também afirmam que não coletam dados de uso. Com modelos proprietários, você deve antecipar avisos e quaisquer informações, imagens, áudio ou vídeo que você compartilhar serão usados para treinar modelos futuros. Existem raras exceções. O chatbot Lumo da Proton, por exemplo, é totalmente privado por padrão. Para a maioria dos chatbots, incluindo ChatGPT, você precisará fazer algumas pesquisas Desative o compartilhamento de seus dados Para treinamento de modelo.
O que você não pode fazer com ChatGPT, Claude ou Gemini é usá-los sem conexão com a internet, onde chatbots locais podem funcionar mesmo quando você está offline.
Dito isto, existem algumas desvantagens notáveis. Por mais capazes que sejam os modelos abertos mais recentes, eles não são tão sofisticados quanto os modelos proprietários mais recentes da Anthropic, OpenAI e outros laboratórios de IA com fins lucrativos. Por exemplo, modelos fechados, alimentados por hardware poderoso em nuvem, tendem a oferecer janelas de contexto mais longas que permitem consultar informações de bate-papos anteriores. Na prática, isso se traduz em chatbots que parecem mais inteligentes e conversacionais, já que às vezes você não precisa se repetir.
Além do mais, tanto o ChatGPT quanto o Claude oferecem poderosos recursos de “memória” que permitem personalizar suas respostas para cada usuário. Minha versão do ChatGPT sabe que meu machado principal é uma Fender Stratocaster 1993, e sempre mencionarei esse fato quando fizer perguntas relacionadas à guitarra. Para algumas pessoas, isso é algo que pode tornar o uso de um chatbot viciante, pois parece que o sistema quer que elas saibam.
Se você precisa de um chatbot que possa fornecer informações oportunas, um modelo local provavelmente não será suficiente. Todos os LLMs têm limites de conhecimento. Este é o momento que seus dados de treinamento não cobrem. No caso da instanciação GPT-5.5, por exemplo, ela não poderá se referir a eventos anteriores a agosto de 2024. Enquanto isso, para o Llama 3.2, essa data é dezembro de 2023.
Para responder a perguntas além do limite de conhecimento, o modelo idealmente se tornaria uma poderosa ferramenta de pesquisa na web. O modelo de propriedade oferece duas vantagens no que diz respeito à pontualidade. Em primeiro lugar, o ritmo atual a que empresas como a OpenAI estão a lançar novos modelos significa que esses sistemas incluem inerentemente dados mais recentes, uma vez que são novos. Além disso, como você precisa de uma conexão com a Internet para usar ChatGPT, Claude ou Gemini, esses chatbots podem pesquisar facilmente na web para aumentar suas respostas. Os modelos de código aberto podem usar ferramentas de pesquisa na web, mas não sem extensões de terceiros.
