Emparelhei o LLM local com Fregate e Home Assistant, e minhas câmeras inteligentes finalmente entenderam o que estão vendo

Dadas as implicações de privacidade de permitir que plataformas em nuvem gerenciem as imagens do meu entorno, mudei para uma configuração de vigilância totalmente self-service. Fregate é meu gravador de vídeo em rede preferido para meu sistema de segurança residencial FOSS e, com sua natureza leve, excelente suporte para aceleradores de IA e excelentes recursos de detecção de objetos, é um bom companheiro para meu arsenal doméstico inteligente.

Mas apesar de emparelhá-lo com o Home Assistant e usar regras de gatilho para configurar cadeias de automação envolvendo outros acessórios IoT, minhas notificações de câmera inteligente eram muito evidentes. Claro, eu poderia conseguir os nomes dos objetos detectados pela Fragata, mas terei que revisar manualmente a filmagem para obter informações adicionais. Então decidi emparelhar LLMs locais com minhas câmeras de segurança para obter mais informações sobre minhas notificações de vigilância. E apesar do esforço extra que tive de colocar em meu pipeline de segurança, ele saiu melhor do que eu esperava.

A integração Fregate HACS conecta meu sistema de segurança ao Home Assistant

Mas os fluxos RTSP individuais funcionam igualmente bem com o HASS

Como configurei minha coleção de câmeras de segurança para usar o Fregate como um utilitário NVR, tive que descobrir uma maneira de conectá-lo ao Home Assistant. Felizmente, a Home Assistant Community Store é integração que pode obter o feed da minha câmera, ajustar os controles PTZ e detectar imagens armazenadas no meu servidor fragata.

A instalação foi muito fácil, pois digitei o endereço IP da máquina onde o servidor Fregate está localizado e adicionei dois pontos (:) e a porta 5000. Depois de inserir minhas credenciais de usuário, o Home Assistant conseguiu se conectar à minha instância do Fragate. Depois de digitalizar as câmeras de segurança na plataforma NVR, a integração do Fregate me pediu para atribuir locais diferentes a elas. Estranhamente, ele até adicionou as zonas que eu havia configurado para cargas de trabalho de detecção de objetos como fluxos regulares, então eu as filtrei para criar um novo painel que continha minhas câmeras RTSP e câmeras IP de smartphones.

LLM Vision adiciona funcionalidade de IA à minha configuração

Eu usei o llama-server para fornecer o LLM e seus adaptadores visuais

Como meu sistema de monitoramento é totalmente local, fazia sentido escolher modelos de IA auto-hospedados em vez de usar ferramentas de computação em nuvem com acesso pago e invasivas à privacidade. Graças à arquitetura Mixture-of-Experts, tenho enormes LLMs rodando em hardware legado sem a lenta velocidade de geração de tokens que não prejudica minhas conclusões. Especificamente, eu queria emparelhar uma instância Qwen3.6-35B-A3B implantada em meu RTX 3080 Ti usando um servidor lhama com meu assistente doméstico, e a integração LLM Vision foi o que salvou o dia.

Em vez de oferecer apenas modelos conversacionais, Visão LLM permite que meu servidor Home Assistant analise imagens, clipes e fluxos usando modelos com recursos de visão. Configurá-lo foi tão fácil quanto o Fregate baseado em HACS, pois simplesmente adicionei o endereço IP do meu computador e o número da porta associado ao meu servidor lhama ao assistente de configuração do LLM Vision após baixá-lo da Home Assistant Community Store. Dito isso, embora consegui conectar meu LLM ao HASS, cometi um erro grave que demorei um pouco para ser corrigido.

Até agora, tenho confiado em Qwen3.6-35B-A3B-Q4_K_M.gguf para minhas etapas de inferência LLM, enquanto deixo seu arquivo MMPROJ responsável pelos recursos de visão não ser utilizado. Portanto, tentar executar qualquer carga de trabalho do LLM relacionada às minhas câmeras de segurança terminou em fracasso, embora meu agente de chat funcionasse perfeitamente.

Então modifiquei o comando lama-server para incluir o arquivo MMPROJ. Depois de executar o lama-server com o sinalizador –mmproj, usei a seção Actions das ferramentas do desenvolvedor para iniciar manualmente o componente Image Analyzer do LLM Vision com a câmera fragata fornecendo o feed e meu servidor lama oferecendo recursos de análise visual. E com certeza, meu pipeline LLM deu uma resposta precisa em menos de 1,5 minutos, o que é uma configuração de observação bastante decente.

O resumo do evento de IA conclui meu fluxo de trabalho de monitoramento baseado em LLM

E combina bem com integrações LLM Vision e Fragate

Até agora, consegui acionar manualmente meus modelos locais para gerar resumos de feed de câmera, mas meu objetivo original era usar o LLM para criar relatórios completos quando o Home Assistant envia novas notificações relacionadas à minha configuração de monitoramento. Então era hora de explorar a maior vantagem do assistente doméstico sobre seus concorrentes: suas ferramentas de automação. Originalmente, planejei configurar os servidores MCP e conectá-los às regras de acionamento HASS, mas Rascunho do resumo do evento de IA acabou sendo a solução mais fácil (e eficaz).

Depois de definir as operações, o estado de lançamento e as condições de resfriamento (que são muito importantes para câmeras voltadas para áreas movimentadas), conectei a câmera fragata, configurei as configurações do LLM Vision para apontar para meu servidor lhama e apontei o projeto para enviar uma notificação para meu painel de tela de toque DIY. Depois de executar alguns testes fictícios e ajustar as configurações de gatilho, o projeto de resumo de eventos de IA finalmente conseguiu enviar relatórios detalhados sempre que atividade aleatória era detectada no feed da minha câmera.

Mas esse não é o único fluxo de trabalho com muita IA na minha casa inteligente

Depois de mergulhar de cabeça na autoproclamada toca do coelho LLM há alguns meses, também construí outros pipelines de IA com meu servidor Home Assistant. Por exemplo, costumo usar o servidor MCP para permitir que meus LLMs assumam o controle dos arquivos de log do assistente doméstico e ajudem nas minhas necessidades de solução de problemas. Como o aplicativo Home Assistant Companion finalmente obteve a funcionalidade de satélite de voz há algumas semanas, eu até construí um assistente de voz completo que usa conversão de texto em fala, fala em texto e bons clankers orientados ao raciocínio para controlar meu hub de casa inteligente.