Modelos de combinação de especialistas mudaram silenciosamente o hardware necessário para IA nativa

A IA nativa ainda pode ser um interesse de nicho, mas o hardware necessário está longe disso. Durante muito tempo, a sabedoria convencional ditou que não seria possível executar um modelo que valesse a pena ser executado localmente sem uma grande quantidade de VRAM. Geralmente está na faixa de 24 GB a 32 GB para placas gráficas de consumo e, mesmo assim, você não pode executar a maioria dos modelos principais sem compactação. Esse conselho era verdadeiro porque você precisava de um framebuffer grande o suficiente para armazenar dezenas de bilhões de parâmetros na memória. Passar um prompt para, digamos, um modelo 14B ativa todos os 14 bilhões de parâmetros, o que às vezes pode causar travamentos mesmo em GPUs com 32 GB de VRAM. É aqui que os modelos de mistura especializada (EM) são usados. Os modelos EM, que consistem em um conjunto de redes neurais menores, ativam apenas determinados submodelos ou especialistas, dependendo do prompt e da tarefa. Isso reduz a dependência de VRAM e traz muito mais GPU para a conversa de IA nativa. Os modelos EM apresentam compromissos, mas ser capaz de encaixar um modelo em uma GPU de médio porte é muito melhor do que não ser capaz de executá-lo.

O conselho “VRAM ou nada” tornou-se obsoleto da noite para o dia

EM é onde a emoção mudou

LLMs convencionais são feras densas, onde cada parâmetro participa do processamento de tokens. Por exemplo, se você usar um modelo 70B, todos os 70 bilhões de parâmetros serão ativados para analisar cada palavra digitada e cada dado que o modelo envia de volta. É por isso que os LLMs tradicionais têm tanta VRAM; A GPU deve manter todo o modelo na memória para cada entrada e saída. Qualquer modelo que valha a pena em seu PC local requer uma placa gráfica cara e de última geração, o que geralmente deixa apenas opções como RTX 5090, RTX 4090, RTX 3090 e RX 7900 XTX. A quantização ajuda a reduzir a sobrecarga de VRAM, mas você corre o risco de perder a qualidade do raciocínio que o fez optar pelo modelo extragrande. Descarregar algumas camadas na RAM do sistema também ajuda, mas resulta em níveis de desempenho.

Portanto, a menos que sua GPU conseguisse encaixar o modelo inteiro em sua VRAM, com ou sem quantização, você não conseguiria nem carregar o modelo – era uma situação de um ou outro. Para contextualizar, mesmo o poderoso RTX 5090 com 32 GB de VRAM muitas vezes só consegue gerenciar modelos com parâmetros de até 14 B (sem quantização). E os modelos verdadeiramente revolucionários tendem a ser muito maiores. No entanto, a inovação nos LLMs mais recentes inclina-se para os modelos do Ministério do Ambiente, permitindo que a configuração local da IA ​​faça mais com menos. Esses modelos usam um mecanismo de roteamento para ativar apenas algumas sub-redes “especializadas” especializadas, em vez de todo o modelo. O restante da malha ainda está armazenado em algum lugar, mas não precisa estar na GPU VRAM para processamento ativo. A VRAM não é mais um elemento-chave do hardware de IA nativo, com foco em uma abordagem mais equilibrada que combina capacidade de memória e largura de banda em configurações flexíveis.

Os modelos EM inverteram o script no hardware

VRAM não é mais uma estrela

Os modelos EM mudaram o gargalo de apenas VRAM para incluir outros componentes do sistema. Como apenas um subconjunto de parâmetros precisa estar ativo por vez, você não precisa mais de grandes quantidades de VRAM para ajustar um modelo grande e denso. A GPU necessária para hospedar localmente um LLM revolucionário varia de um modelo topo de linha com um preço de vários milhares de dólares a um modelo intermediário que custa menos de mil dólares. Os parâmetros inativos podem ser armazenados na RAM do sistema ou na memória unificada.

O Mac Studio e os MacBooks da Apple tornaram-se subitamente perfeitos para cargas de trabalho que ninguém na empresa imaginou ao projetar a arquitetura de silício da Apple. Com um grande pool único de memória, como 512 GB, esses sistemas podem conter modelos como o DeepSeek R1 671B quando quantizados em 4 bits. Mesmo um MacBook Pro de consumidor com M4 Max pode obter 128 GB de memória unificada, o que é quatro vezes mais que o RTX 5090. Além disso, como a CPU e a GPU compartilham o mesmo conjunto de memória, não há transferência de PCIe para diminuir o desempenho.

Comparado com a largura de banda de 1790 GB/s do RTX 5090, os 800 GB/s do Mac Studio podem parecer decepcionantes. Isso significa que existem dois estágios de inferência de IA local e eles usam seu poder computacional de maneira diferente. O primeiro é o pré-preenchimento, onde o modelo lê seu prompt, e o segundo é o estágio de decodificação, onde o modelo responde na forma de tokens. A primeira etapa é um cálculo e a segunda depende da largura de banda da memória. A velocidade de geração do seu token está diretamente relacionada à largura de banda total dividida por quantos bytes de parâmetros cada token precisa ler. Os modelos EM atenuam o impacto, por exemplo, da menor largura de banda de memória do MacBook Pro, mantendo o número de parâmetros ativos suficientemente baixo. A capacidade de memória é grande o suficiente para armazenar o número total de parâmetros do modelo, e a largura de banda não é tão ruim a ponto de os parâmetros ativos começarem a ficar lentos.

Portanto, uma GPU de última geração como a RTX 5090 não é mais sua única opção quando se trata de auto-hospedar os maiores LLMs. A GPU de consumo mais rápida da Nvidia vence quase qualquer outra configuração quando você está lidando com um modelo que se adapta a ambas. No entanto, quando você ultrapassa a VRAM do RTX 5090, modelos como o MacBook Pro (M4 Max) e o Lenovo ThinkStation PGX (Nvidia GB10) começam a parecer bastante atraentes. Deixando de lado o segmento de ponta, mesmo uma GPU moderna com 16 GB de VRAM combinada com RAM de sistema suficiente pode executar o modelo MoE certo com a quantização correta. Foi isso que os modelos EM alcançaram: adicionar IA nativa ao hardware que a maioria dos usuários pode pagar.

Nem tudo é sol e arco-íris

É necessário saber para que EM é adequado

Os modelos EM, é claro, também não apresentam algumas desvantagens. Como você alimenta um pequeno subconjunto de tokens para cada especialista, eles obtêm uma visão limitada de toda a distribuição do treinamento. Isto põe em causa a eficácia dos peritos e requer um esforço considerável para ser resolvido. Os modelos EM são conhecidos por se destacarem em tarefas dependentes de memorização, mas podem ficar atrás dos modelos densos no raciocínio. Resta saber se os modelos EM mais avançados podem corresponder aos seus homólogos densos. O que está claro é que os modelos GR funcionam bem em cenários onde as solicitações são curtas e as respostas geradas são longas. Se você está tentando entrar em um contexto longo, como descartar uma grande base de código e esperar a velocidade de geração vista em uma GPU de última geração, ficará desapontado.

Isso significa que os modelos MoE permitem pelo menos que modelos grandes caibam na memória, o que não é possível mesmo em uma GPU com 32 GB de VRAM. Não importa quão rápida seja a sua memória se ela não for grande o suficiente para caber no modelo. A conversa mudou de sistemas que possuem muita VRAM para aqueles que usam CPU, GPU e memória juntos de forma eficiente. Se você conseguir a qualidade de um modelo massivo e denso sem a sobrecarga de VRAM que existia até agora, isso realmente mudará os cálculos de custo-benefício do hardware de IA nativo.

A combinação de especialistas mudou o que realmente importava para a IA nativa

Os modelos densos tradicionais exigiam um enorme framebuffer para acomodar todo o conjunto de parâmetros sem os quais você não poderia esperar que o modelo fosse executado. Os modelos EM mudaram completamente o jogo, ativando apenas os parâmetros necessários para um prompt específico. Essas sub-redes especializadas ou especialistas permitem alcançar o que só foi possível com o RTX 5090 com GPUs de gama média e memória suficiente.