DGX Spark/Calculadora de memória
Calculadora

Cabe num DGX Spark? Calculadora de memória de LLM

Por Samuel Seidel · Publicado a 11 de outubro de 2026 · 6 min de leitura

Um modelo de 70B a 4 bits precisa de cerca de 37 GiB de pesos, o que deixa cerca de 84 GiB dos 121,6 GiB de memória unificada endereçável de um DGX Spark para a cache KV e overhead; em FP16 (cerca de 140 GB) o mesmo modelo não cabe. O gpt-oss-120b também cabe: os seus pesos MXFP4 totalizam 65,2 GB (60,8 GiB), deixando cerca de 61 GiB. Introduza o seu próprio modelo abaixo; as fórmulas e os seus limites vêm a seguir à calculadora. Eu dirijo a GPUwerk, que aluga DGX Sparks, por isso tenha isso em conta ao ler esta análise.

Duas respostas resolvidas

ModeloPesosRestante de 121,6 GiBVeredicto
Llama 3.3 70B, AWQ 4 bitscerca de 37 GiB (registo da GPUwerk)cerca de 84 GiB, cerca de 82 GiB após 8192 tokens de KV para um utilizadorCabe. A memória deixa espaço para uma equipa; a velocidade não (a GPUwerk mediu 6,0 tok/s para um utilizador)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repositório Hugging Facecerca de 61 GiB antes da KV e do overheadCabe. Entre as linhas dos 40 e dos 75 GB, por isso cabem alguns utilizadores se a cache KV se mantiver pequena

Os 37 GiB de pesos do Llama, os 6,0 tok/s e o valor de 121,6 GiB vêm do documento sobre o vLLM, da página do Llama 3.3 70B e da página de benchmarks da GPUwerk. O tamanho do gpt-oss-120b é a soma dos ficheiros safetensors MXFP4 em openai/gpt-oss-120b no Hugging Face, verificado a 2026-10-11; o llama.cpp indica o GGUF MXFP4 com 59,02 GiB na discussão #16578. A GPUwerk não mediu a ocupação de memória do gpt-oss-120b. A subtração e o tamanho da KV são contas minhas.

Caber é só metade: um 70B denso que cabe à vontade continua a gerar cerca de 6 tokens por segundo para um pedido, porque cada token lê todos os seus pesos. Que modelos grandes correm suficientemente depressa num Spark compara modelos densos e mixture-of-experts com velocidades medidas e reportadas.

Calculadora

Tudo corre no seu navegador e nada é guardado nem enviado. Escolha uma predefinição ou introduza os seus próprios números. Os resultados aparecem abaixo do formulário e atualizam-se enquanto escreve.

Modelo

Introduza os seus próprios valores.

Cache KV
Máquina
Introduza um modelo acima para ver a estimativa. Sem JavaScript, use as fórmulas abaixo ou as duas respostas resolvidas acima.

A predefinição de 4 GiB de overhead é um pressuposto meu, baseado nos "alguns gigabytes" para ativações e contexto CUDA da página de modelos. A opção de 64 GB reduz para metade os 121,6 GiB observados pela GPUwerk; a GPUwerk não testou essa variante. O modo de dois nós pressupõe que os pesos e a KV se dividem igualmente.

Como funciona a estimativa

Três fórmulas, todas aritmética simples:

Os bytes por parâmetro são médias, não valores exatos. FP16 é 2 e FP8 é 1. Os formatos de 4 bits (INT4, AWQ, NVFP4, MXFP4) ficam entre 0,5 e 0,56 depois de contadas as escalas, e esta página usa 0,56 por predefinição. Um GGUF de 2 bits é cerca de 0,3. As quantizações GGUF dinâmicas misturam larguras de bits, por isso os tamanhos de ficheiro publicados valem mais do que qualquer fórmula.

O veredicto segue a regra prática da página de modelos. Menos de cerca de 40 GB de pesos por nó deixa espaço para servir uma equipa, mais de cerca de 75 GB é um modelo para um utilizador, e uma folga negativa significa que não cabe. A faixa de 40 a 75 GB entre os dois é a minha leitura dessa regra: cabe, mas a cache KV decide quantos utilizadores cabem. Os tamanhos da cache KV de 22 modelos atuais, calculados a partir de cada config.json, estão em tamanho da cache KV por modelo.

Verificar a fórmula com os registos da GPUwerk

As execuções de vLLM da GPUwerk registaram quantos tokens KV cabem com 0,85 de utilização de memória da GPU. Os registos são a referência; a fórmula só tem de ficar perto deles.

ModeloKV por tokenTokens KV registados a 0,85Tamanho KV pela fórmulaVerificação cruzada
Llama 3.3 70B AWQ327 680 bytes (80 camadas, 8 cabeças KV, dimensão 128, FP16)207.12063,2 GiB37 GiB de pesos + 63,2 GiB de KV = 100,2 GiB, face a um orçamento de 0,85 x 121,6 = 103,4 GiB. Os 3,2 GiB restantes são overhead do motor.
Qwen3-Coder 30B-A3B AWQ98 304 bytes (48 camadas, 4 cabeças KV, dimensão 128, FP16)924.91284,7 GiBDeixa 18,7 GiB do orçamento de 103,4 GiB para pesos e overhead. Parâmetros x 0,56 dá cerca de 16 GiB de pesos, o que é coerente.

Tokens KV e o valor de 37 GiB: páginas e registos da GPUwerk do Llama 3.3 70B e do Qwen3-Coder 30B-A3B. Números de camadas, cabeças e dimensões: os ficheiros config.json dos modelos no Hugging Face (espelho do Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), verificados a 2026-10-11. As somas de verificação cruzada são contas minhas.

Um pormenor de unidades: a página de benchmarks e a página do Llama 3.3 70B da GPUwerk dividem 273 GB/s por 37 para obter um limite de 7,4 tok/s, tratando os 37 GiB registados como 37 GB. Convertido (37 GiB são 39,7 GB), o limite é 6,9 tok/s, e a calculadora usa esse valor. Face a 6,9, os 6,0 tok/s medidos são cerca de 87% do limite, um pouco acima da faixa de 50 a 80%.

Porque é que a memória unificada é diferente

Uma GPU dedicada tem a sua própria VRAM, e o modelo ou cabe lá ou transborda por uma ligação PCIe lenta. O DGX Spark tem um único conjunto de 128 GB LPDDR5x partilhado pela CPU e pela GPU. Os registos da GPUwerk mostram cerca de 121,6 GiB endereçáveis, e isso tem de cobrir o sistema operativo, o Docker, a cache de páginas e qualquer outro processo, além dos seus pesos e da cache KV.

As notas de versão do DGX Spark da NVIDIA (verificadas a 2026-10-11) indicam a memória reservada para o ecrã como ajustável na versão de julho de 2026: 2 GB por predefinição, 4 GB através da BIOS. Se usar um monitor, verifique o que o seu próprio sistema indica com free -h antes de dimensionar um modelo até ao último gigabyte. A GPUwerk também executa os seus Sparks sem swap desde um reforço da memória a 9 de setembro de 2026, por isso ficar sem memória dá um erro de falta de memória, não uma lentidão.

O conjunto partilhado é também a razão pela qual é a largura de banda, e não a capacidade, que limita a velocidade: 273 GB/s alimentam cada token, por isso um modelo denso de 70B lê cerca de 37 GiB por token, enquanto um modelo mixture-of-experts com 3B ativos lê menos de 2 GB. Veja a página de especificações para a lista completa de hardware.

Para uma GPU dedicada ou um Mac, o FitLocally faz o mesmo tipo de verificação de compatibilidade para cerca de 110 modelos abertos em placas gráficas, Macs e mini PCs. É um site separado que eu publico.

Modelos que não cabem num Spark

A calculadora inclui dois exemplos que não cabem. Ambos se baseiam em páginas de agregadores, não em model cards nem em valores da própria GPUwerk, por isso trate os tamanhos como indicativos.

ModeloTamanho usadoFonte (agregador)Porque falha
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parâmetros)llmrun.devCerca de 2,5 vezes os 121,6 GiB (130,6 GB) de um Spark, e mais do que dois Sparks comportam juntos (cerca de 261 GB)
Kimi K3, 4 bitscerca de 1570 GB (2,8T parâmetros x 0,56)slash-digital.io12 vezes a capacidade de um Spark

Verificado a 2026-10-11. O tamanho do Kimi a 4 bits é uma multiplicação minha, não uma quantização publicada.

Dois Sparks, e a variante de 64 GB

Dois Sparks ligados dão-lhe dois conjuntos de 121,6 GiB, não 256 GB para um único modelo. A calculadora divide os pesos e a KV igualmente e verifica cada nó, o que é otimista, porque as divisões reais raramente são perfeitamente iguais. Para a configuração, veja o guia do cluster de dois nós. Para experimentar um modelo em hardware real antes de comprar, a página de aluguer explica o aluguer ao minuto.

A página de produto da NVIDIA indica uma variante de 64 GB vendida através de parceiros OEM (veja a página de especificações), e a notícia do The Register de 2 de outubro de 2026 cobre o anúncio, incluindo a largura de banda inalterada de 273 GB/s (verificado a 2026-10-11). A GPUwerk não testou nenhuma, por isso o valor de 60,8 GiB da calculadora é apenas metade de 121,6. Com esse tamanho, o exemplo do 70B a 4 bits (37 GiB) deixaria cerca de 24 GiB antes do overhead e da KV. O guia 64 GB vs 128 GB analisa que modelos atuais cabem em cada um.

FAQ

De quanta memória precisa um modelo de 70B?

Os pesos são os parâmetros vezes os bytes por parâmetro: cerca de 140 GB em FP16, 70 GB em FP8 e 37 GB a 4 bits, como explica a página de modelos. Num DGX Spark com cerca de 121,6 GiB endereçáveis, o FP16 não cabe, o FP8 (70 GB) cabe mas fica mesmo abaixo da linha dos 75 GB a partir da qual se torna um modelo para um utilizador, e os 4 bits deixam cerca de 84 GiB antes da cache KV. O Llama 3.3 70B acrescenta 327 680 bytes de cache KV por token em FP16, por isso 8192 tokens para uma sequência são cerca de 2,7 GB.

O gpt-oss-120b cabe num DGX Spark?

Sim. Os pesos MXFP4 no repositório da OpenAI no Hugging Face totalizam 65,2 GB (60,8 GiB), o que deixa cerca de 61 GiB dos 121,6 GiB de memória endereçável para a cache KV e o overhead. A GPUwerk não mediu a ocupação nem a velocidade deste modelo. Os cerca de 60 tok/s muitas vezes citados para ele no llama.cpp são um relatório de terceiros (tg32 com contexto vazio, descendo para cerca de 40 tok/s com 32 768 tokens de contexto), não uma medição da GPUwerk.

O que é a memória unificada para LLMs?

O DGX Spark tem um único conjunto de 128 GB de LPDDR5x usado pela CPU e pela GPU, por isso não há VRAM separada. Os pesos, a cache KV, o sistema operativo, o Docker e a cache de páginas usam todos o mesmo conjunto, e um modelo "demasiado grande para a VRAM" é simplesmente demasiado grande para o que resta desse conjunto. Significa também que são os 273 GB/s de largura de banda, e não a capacidade, que definem a velocidade de descodificação.

Dois Sparks significam 256 GB para um só modelo?

Não. Dois Sparks ligados são dois conjuntos separados de 121,6 GiB unidos por uma ligação de rede, não um conjunto de 256 GB. Um modelo tem de ser dividido entre eles, por exemplo com paralelismo de tensores ou de pipeline, e cada nó continua a precisar da sua parte dos pesos, da cache KV e do overhead. Esta página verifica o encaixe por nó e não faz nenhuma afirmação de velocidade com dois nós; o único par medido pela GPUwerk, Qwen3-32B com paralelismo de tensores, está na página de benchmarks. O guia do cluster de dois nós cobre a configuração.

Qual é a precisão desta calculadora?

É uma estimativa, não um valor exato. Deixa de fora buffers do motor, CUDA graphs, metadados de quantização para além da média de bytes por parâmetro, e alocação específica do motor, como o conjunto KV pré-dimensionado do vLLM. Para o Llama 3.3 70B AWQ, a estimativa e os registos de benchmark da GPUwerk coincidem com uma margem de cerca de 3 GiB, e os registos são a referência. Teste uma carga real antes de se comprometer com uma configuração.

Primeiro carregamento: pague $ 20 e receba $ 30 em crédito

Confirme a estimativa num Spark real.

Alugue um DGX Spark dedicado na Europa, América do Norte ou Ásia Oriental por $ 0,79/h, faturado ao minuto, e carregue o modelo que acabou de dimensionar.

Criar conta Ver preços