Resumo
-
O ESP32-AI corresponde ao parâmetro LLM de 28,9M no ESP32-S3, que pode contar histórias coerentes.
-
Ele usa flash mapeado emory para uma tabela de incorporação de parâmetros de 25M e requer apenas cerca de 560k núcleos densos de RAM rápida.
-
Ele roda totalmente no chip a aproximadamente 9 tokens por segundo, o que é impressionante considerando o pequeno tamanho do ESP32 e as limitações de RAM.
Desde que os LLMs chegaram aos olhos do público, as pessoas têm tentado comprimi-los em tudo o que conseguem encontrar. Vimos pessoas usarem Raspberry Pis e ESP32s para executar IA localmente com resultados mistos. Agora, alguém conseguiu colocar 28,9 milhões de LLM em um ESP32-S3 e ele pode contar uma história muito boa.
O ESP32-AI adiciona 28,9M LLM ao seu microcontrolador
Isso é muito impressionante para o tamanho do chip
Para Subreddit ESP32o usuário slvDev_ conseguiu fazer o LLM funcionar no ESP32-S3. Pode armazenar 28,9 milhões de parâmetros; context tinha 117 milhões de parâmetros na primeira versão do ChatGPT. Este projeto ESP32 tem apenas cerca de um quarto da inteligência do primeiro modelo da OpenAI, mas considerando como essa coisa foi amontoada em um dispositivo ESP32, é um feito muito mais impressionante do que pode parecer à primeira vista.
.
Então, como eles conseguiram colocar todos esses parâmetros no ESP32-S3? Veja como eles explicam:
Truque (incorporação de camada Gemma): a maioria dos parâmetros do modelo de linguagem são uma grande tabela de incorporação que você lê em vez de calcular.
Portanto, armazeno essa tabela de 25 milhões de linhas em flash (memória mapeada para XIP) e leio apenas cerca de 6 linhas por token (~ 450 bytes). Apenas um núcleo denso de aproximadamente 560K requer memória rápida.
A tabela de parâmetros 25M é basicamente de execução gratuita, apenas é executada em flash e seleciona algumas linhas por vez.
O resultado final é uma IA que pode contar uma história e rastrear variáveis, o que é ótimo para um dispositivo tão pequeno. Se você deseja fazer o download e executá-lo em seu hardware, vá para Página GitHub do ESP32-AI para todos os detalhes.
