Construí meu Google Book usando Raspberry Pi, LLMs locais e hardware antigo

Diga o que quiser sobre os Chromebooks, mas é difícil negar a utilidade de laptops leves que suportam a maioria das tarefas de produtividade e se integram perfeitamente aos aplicativos em nuvem, tudo por um preço significativamente menor do que os PCs Windows padrão. Mas, como membro fiel da facção dos laboratórios domésticos, realmente odeio depender de servidores de terceiros para minhas tarefas diárias. Com o Google dobrando os serviços da Gemini no próximo Google Book, estou um pouco em dúvida sobre ferramentas de lixo que não apenas drenam minha carteira, mas também armazenam dados nos servidores da empresa.

Mas o fato é que os modelos vernáculos são surpreendentemente ótimos para minhas necessidades de produtividade – quando combinados com meu arsenal auto-hospedado e não transferem dados para fora da minha rede. Então, assistir ao fluxo de anúncios oficiais me deu a ideia de criar minha própria versão de um Google Livro. Um brainstorm levou a outro, e logo eu tinha um Googlebook DIY com um distribuidor obscuro baseado em Chromium executando meu Raspberry Pi e usando os modelos MoE 26B e 35B hospedados em meus nós de laboratório doméstico.

FydeOS é a peça central deste projeto

É ainda melhor que o ChromeOS Flex

De tudo o que sabemos sobre o Googlebook até agora, ele tem uma interface de usuário semelhante ao ChromeOS e uma grande ênfase na integração com o ecossistema Android (e com o Gemini, mas falarei disso um pouco mais tarde). Como quero replicar isso no meu sistema DIY, precisarei de uma distribuição semelhante. Se você já trabalha com distribuição há algum tempo, provavelmente apontaria para o ChromeOS Flex, que é basicamente o ChromeOS para dispositivos não suportados. Infelizmente, ele tem uma grande desvantagem: não oferece suporte nativo a aplicativos Android, o que o torna péssimo para este projeto.

Em vez disso, eu uso o FydeOS, que é um fork do Chromium e oferece muitos recursos excelentes para meu Google Book improvisado. Primeiro, não é necessária uma conta do Google por padrão, então posso simplesmente chamar um usuário local e ligar para ele todos os dias. Como nem inclui aplicativos em nuvem do Google, posso remover o sistema do Google imediatamente. Além do subsistema Linux, ele também oferece suporte a aplicativos Android, o que o torna muito mais versátil que o ChromeOS Flex anterior.

A melhor parte? FydeOS funciona incrivelmente bem no Raspberry Pi. Provavelmente pareço louco quando digo isso, mas tive melhor desempenho executando emuladores e assistindo vídeos nesta distribuição aleatória do que no próprio sistema operacional Raspberry Pi. A instalação foi tão fácil quanto atualizar um cartão microSD, conectar um Raspberry Pi e passar por um assistente de inicialização interativo.

Assim que coloquei o FydeOS em funcionamento, comecei a equipá-lo com Darktable, VS Code, Krita e outros aplicativos Linux voltados para a produtividade, que funcionaram incrivelmente bem. Mas apesar da minha aversão aos aplicativos do Google, instalei a Play Store enquanto configurava o subsistema Android. Com o controlador conectado ao meu Raspberry Pi, não tive problemas para jogar jogos leves de Android, e o mesmo vale para os títulos de PSP que tentei rodar no emulador de Android. Agora, ferramentas hardcore como o DaVinci Resolve são definitivamente demais para este sistema em miniatura. Mas quando se trata de ferramentas típicas de produtividade e jogos leves, não tenho queixas.

Open WebUI + LLMs nativos fornecem todos os recursos de IA que eu poderia desejar

Acontece que modelos com parâmetros elevados funcionam bem mesmo em máquinas com dez anos de idade

Já que estamos falando de serviços intensivos, é hora de falar sobre o elefante na sala: as tarefas de IA. Tentei executar vários LLMs no meu Raspberry Pi, mas não consegui ultrapassar os modelos 4B (e não, meu experimento com os modelos 9B executando dois SBCs via RPC não conta). Mas, como até mesmo as ferramentas do Google Gemini dependem de servidores da empresa, é hora de envolver os nós do seu laboratório doméstico.

Agora, não vou dizer que meu LLM pode superar as centenas de bilhões de parâmetros que os gigantescos servidores em nuvem do Gemini podem suportar. No entanto, alguns modelos, como Qwen3.6-35B-A3B e Gemma-4-26B-A4B, chegam extremamente próximos das capacidades de raciocínio dos seus homólogos na nuvem. Mas o que os torna revolucionários é a arquitetura de combinação especializada em torno da qual foram construídos. Em LLMs normais, eu teria que descarregar camadas inteiras para a CPU e para a memória do sistema, o que diminuiria significativamente a velocidade de geração de tokens, mesmo que eles pudessem tecnicamente ser executados no hardware antigo.

Para esses modelos EM, posso simplesmente descartar os especialistas e outros componentes menos usados ​​em minha RAM, mantendo o foco na GPU, permitindo que o hardware legado execute os modelos sem muita lentidão. Para referência, estou falando de uma GTX 1080 de 10 anos (com apenas 8 GB de VRAM) rodando como um modelo 26B (Gemma-4-26B-A4B) a 15 tokens por segundo. Mas, além desse sistema, meu PC para jogos também tem um RTX 3080 Ti rodando perfeitamente no Qwen3.6-35B-A3B usando os mesmos ajustes. Ao acoplar esses LLMs ao Open WebUI e incluir alguns pipelines de geração de imagens ComfyUI, já tenho todos os recursos orientados a IA que poderia solicitar do meu sistema FydeOS improvisado.

O CrowView Note 14 serve como chassi de laptop

No entanto, tem uma aparência peculiar

Até agora, considerei as funções de distribuição e IA. Porém, minha configuração é apenas um Raspberry Pi conectado a um monitor e um KB+M, o que está muito longe de ser um laptop compacto. É aí que entra o CrowView Note 14. É um chassi de aparência elegante com monitor, teclado, trackpad, bateria e alto-falantes integrados. Basicamente todos os acessórios de um laptop, menos os internos, pois são alimentados pelo Raspberry Pi.

Vou ser sincero: tem um design estranho, com o Raspberry Pi saindo do lado esquerdo. Eu também não gosto muito da bateria de 4 horas, enquanto a falta de uma webcam é igualmente chata. Mas dada a natureza peculiar deste projeto, ele se adapta bem ao resto do ambiente.

Pode não ser um assassino do Google Livros, mas tem algumas vantagens

Agora, não vou fingir que essa ideia não relacionada pode substituir o Google Book, em parte porque o Raspberry Pi não é grande o suficiente para servir como laptop e também porque nem temos muitas informações sobre o novo aparelho do Google. Mas, para ser sincero, estou muito feliz com este projeto. FydeOS é uma ótima distro que merece mais elogios dos trapaceiros, especialmente porque é melhor para rodar aplicativos Android no Raspberry Pi do que LineageOS e outras distros Android. Além disso, reviver placas gráficas desatualizadas, transformando-as em estações de trabalho de hospedagem LLM, tornou-se uma obsessão minha recentemente. Embora meu CrowView Note 14 não seja exatamente igual a um chassi de laptop dedicado, esta configuração é mais do que adequada para tarefas diárias com LLM.