Quando você ouve “Apple Intelligence”, provavelmente pensa em recursos como ferramentas de escrita, resumos de notificações e todos os outros recursos que a Apple comercializa com esse nome. Por baixo de tudo, entretanto, está o modelo de linguagem real executado localmente no MacOS Neural Engine de cada sistema operacional Apple Silicon Mac. Ele está ali, pronto e esperando, e você mesmo pode usá-lo se souber como.
Uma forma de acessar isso é por meio de uma pequena ferramenta chamada Apfel, que pega esse modelo oculto e o expõe como um servidor de IA normal. É o mesmo tipo de endpoint para o qual você pode apontar um cliente Ollama ou OpenAI e, se for um servidor, pode ser usado por qualquer coisa que fale esse protocolo. Você não apenas pode falar com ele como faria com qualquer outro modelo, mas também pode fazer algumas coisas malucas, como vinculá-lo a um assistente doméstico. Então eu adicionei e, apenas com meu laptop, minha casa inteligente agora pode responder a perguntas que a maioria não consegue. E tudo funciona em meu próprio hardware, sem despesas com nuvem ou API.
Para ser claro, este é um pequeno modelo. Por exemplo, incrivelmente pequeno e possui uma pequena janela de contexto. É ótimo para fazer perguntas, mas a pequena janela de contexto significa que não é muito bom para chamar ferramentas. No entanto, é privado, funciona com o seu hardware e é isso funciona.
A Apple já colocou o modelo de idioma no seu Mac
E tem estado assim o tempo todo
A partir do macOS 26 Tahoe, todos os Apple Silicon Mac do M1 em diante são fornecidos com o modelo Apple Foundation como parte do Inteligência da Apple. É um modelo de aproximadamente três bilhões de parâmetros com quantização mista de 2 e 4 bits e é executado inteiramente no dispositivo usando um mecanismo neural e GPU. É basicamente um pequeno LLM nativo que a Apple já carregou na máquina e ativou para você.
O problema é que a Apple só o expõe por meio da estrutura de desenvolvedor FoundationModels. Essa estrutura foi projetada para desenvolvedores de aplicativos, para que o aplicativo possa facilmente solicitar ao modelo que colete algum texto ou esboce uma resposta, mas não há nenhuma janela que você possa abrir para apenas conversar com ele. O modelo está lá, funcionando e mais ou menos invisível, a menos que você escreva um software que realmente o utilize. Para um pequeno modelo poderoso parado em milhões de Macs, é um lugar estranho para deixá-lo.
A Apple o construiu para executar tarefas no dispositivo, não para ser um oráculo de uso geral, por isso é multilíngue em nove idiomas, mas menos confiável quando se trata de fatos, datas e qualquer coisa baseada no conhecimento mundial. Por causa disso, o modelo funciona melhor como um ajudante rápido do que algo em que você se sentaria e faria um monte de perguntas reais.
Apfel transforma este modelo em um servidor com o qual qualquer coisa pode conversar
Distância de instalação
Apfel é uma pequena ferramenta licenciada pelo MIT que envolve a estrutura FoundationModels e fornece três maneiras de usar o modelo. Há uma ferramenta de linha de comando para que você possa inserir texto ou fazer uma pergunta rápida no terminal, bem como um modo de bate-papo interativo. O mais importante, porém, é que existe um servidor HTTP compatível com OpenAI que você inicia com apfel –serve , que disponibiliza um endpoint compatível com OpenAI na porta 11434. Você pode instalá-lo usando Cerveja caseirae comece a trabalhar imediatamente.
Curiosidade: 11434 é a porta padrão usada pelo Ollama, então você pode usar o Apfel com qualquer coisa que já tenha um servidor de modelo local e possa estar pré-configurado para usar o Ollama, embora alterar a porta geralmente seja trivial.
O servidor expõe o endpoint normal de conclusão de chat, uma lista de modelos que relatam o modelo apple-foundation e uma verificação de integridade, e pode até fazer chamadas de função e falar o protocolo de contexto do modelo se você quiser usá-lo. Qualquer editor, agente ou automação que já se comunique com OpenAI ou Ollama pode ser apontado apenas alterando a URL base.
O modelo é estreito, mas ainda útil. A própria documentação do Apfel diz que você pode usá-lo para scripts de shell, transformação de texto, classificação, resumos, reestruturação JSON e tradução. No entanto, ele tem dificuldades com matemática, recuperação de fatos, longas conversas e geração de código complexo.
4096 a janela de contexto limita o que ela pode fazer
Ele pode responder, não pode agir
O modelo Apple Foundation possui uma janela de contexto apenas 4.096 tokensé compartilhado entre tudo o que você envia e tudo o que ele envia de volta. Pelos padrões de 2026, isso é minúsculo, já que os modelos de nuvem têm centenas de milhares ou milhões de tokens, e até mesmo muitos modelos locais auto-hospedados são capazes de fornecer milhares, senão centenas de milhares de tokens. Quatro mil é muito doloroso.
Portanto, você não pode dar a ele o controle de sua casa inteligente; quando o Home Assistant passa seu dispositivo para o LLM, ele solicita cada entidade exposta e as ferramentas para lidar com ela, adicionando rapidamente. As instruções do Home Helper para modelos pequenos não devem mostrar mais do que cerca de trinta e dois, mas mesmo isso não será suficiente, pois temos um pequeno orçamento simbólico.
Em vez disso, trabalho dentro dos limites, em vez de lutar contra eles. Em vez disso, eu uso a integração conversacional OpenAI estendida (encontrada no HACS) no Home Assistant e aponto para o endpoint Apfel no meu Mac. Também desativei todos os recursos e ferramentas suficientes para me manter abaixo de 4.096 tokens. Agora posso conversar com ele, mesmo que sejam curtas. Infelizmente, desabilitar ferramentas e chamadas de função é a única maneira sensata de realmente usar este modelo com o Home Assistant, mas funciona.
Você fica com um mecanismo de resposta privado no dispositivo conectado ao pipeline de voz de sua casa inteligente. Com o Assist, os comandos básicos do dispositivo ainda fluem através da correspondência de intenções integrada do Home Assistant como sempre, enquanto qualquer forma livre é respondida localmente, a partir do seu hardware.
Não precisa superar a nuvem
É o seu modelo para usar no que quiser
Espero que você não pense que o Foundation Model da Apple possa substituir o assistente de nuvem, porque já posso garantir que não. Na verdade, ele nem substituirá a maioria dos LLMs nativos que você pode executar e conectar ao Home Assistant. Dito isto, nunca tentei. Nunca foi concebido para este fim e, na verdade, a Apple escondeu-o deliberadamente, e isso só é possível graças a uma ferramenta de terceiros.
No entanto, este modelo ficou parado no seu Mac todo esse tempo, ligado e sem fazer nada que você pudesse alcançar. Apfel é o que o transforma de uma ferramenta exclusiva para desenvolvedores em algo que você pode realmente usar. O Home Assistant parecia um lugar divertido para implementá-lo e mostrar o que ele pode fazer, ao mesmo tempo que fornece contexto sobre como funciona.
Não importa o quão inútil seria no mundo real, o Mac vem com todo o LLM nativo integrado para você usar gratuitamente. Apfel permite que você o use com o que quiser, mesmo que você não possa usá-lo muito.
