Ci sta su una DGX Spark? Calcolatore di memoria LLM
Un modello 70B a 4 bit richiede circa 37 GiB di pesi, il che lascia circa 84 GiB dei 121,6 GiB di memoria unificata indirizzabile di una DGX Spark per KV cache e overhead; in FP16 (circa 140 GB) lo stesso modello non ci sta. Anche gpt-oss-120b ci sta: i suoi pesi MXFP4 totalizzano 65,2 GB (60,8 GiB), lasciando circa 61 GiB. Inserisci qui sotto il tuo modello; le formule e i loro limiti seguono il calcolatore. Gestisco GPUwerk, che noleggia DGX Spark, quindi tieni conto di questa prospettiva.
Due risposte d'esempio
| Modello | Pesi | Restanti su 121,6 GiB | Giudizio |
|---|---|---|---|
| Llama 3.3 70B, AWQ a 4 bit | circa 37 GiB (log GPUwerk) | circa 84 GiB, circa 82 GiB dopo 8.192 token di KV per un utente | Ci sta. La memoria lascia spazio per un team; la velocità no (GPUwerk ha misurato 6,0 tok/s con un utente) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), repository Hugging Face | circa 61 GiB prima di KV e overhead | Ci sta. Tra le linee dei 40 e dei 75 GB, quindi pochi utenti ci stanno se la KV cache resta piccola |
I 37 GiB di pesi di Llama, i 6,0 tok/s e il dato di 121,6 GiB provengono dalla documentazione vLLM, dalla pagina di Llama 3.3 70B e dalla pagina dei benchmark di GPUwerk. La dimensione di gpt-oss-120b è la somma dei file safetensors MXFP4 in openai/gpt-oss-120b su Hugging Face, verificata il 2026-10-11; llama.cpp riporta il GGUF MXFP4 come 59,02 GiB nella discussione #16578. GPUwerk non ha misurato l'occupazione di memoria di gpt-oss-120b. Sottrazione e dimensione KV sono miei calcoli.
Starci è solo metà della questione: un 70B denso che ci sta comodamente genera comunque circa 6 token al secondo per una richiesta, perché ogni token legge tutti i suoi pesi. Quali modelli grandi girano abbastanza veloci su una Spark confronta modelli densi e mixture-of-experts con velocità misurate e riportate.
Calcolatore
Tutto gira nel tuo browser e nulla viene salvato o inviato. Scegli un preset o inserisci i tuoi numeri. I risultati compaiono sotto il modulo e si aggiornano mentre scrivi.
L'overhead predefinito di 4 GiB è una mia ipotesi, basata sui "pochi gigabyte" per attivazioni e contesto CUDA indicati nella pagina dei modelli. L'opzione da 64 GB dimezza i 121,6 GiB osservati da GPUwerk; GPUwerk non ha usato quella variante. La modalità a due nodi presuppone che pesi e KV siano divisi equamente.
Come funziona la stima
Tre formule, tutte semplice aritmetica:
- Pesi (GB) = parametri totali in miliardi x byte per parametro. Un modello 70B occupa circa 140 GB in FP16, 70 GB in FP8 e 37 GB a 4 bit, gli stessi valori della pagina dei modelli.
- KV cache (byte) = 2 x layer x head KV x dimensione della head x byte per valore x token x sequenze. Il 2 indica una key e un value per head.
- Limite di decodifica (tok/s) = 273 GB/s diviso per i GB di pesi dei parametri attivi letti per token. È un limite aritmetico, non la velocità attesa. La pagina dei benchmark di GPUwerk colloca i motori reali a circa il 50–80% di questo valore e mostra dove sono arrivate le prove di GPUwerk.
I byte per parametro sono medie, non valori esatti. FP16 vale 2 e FP8 vale 1. I formati a 4 bit (INT4, AWQ, NVFP4, MXFP4) si collocano tra 0,5 e 0,56 contando le scale, e questa pagina usa 0,56 come predefinito. Un GGUF a 2 bit è circa 0,3. Le quantizzazioni GGUF dinamiche mescolano larghezze di bit, quindi le dimensioni dei file pubblicate battono qualsiasi formula.
Il giudizio segue la regola pratica della pagina dei modelli. Meno di circa 40 GB di pesi per nodo lascia spazio per servire un team, oltre circa 75 GB è un modello per un solo utente, e un margine negativo significa che non ci sta. La fascia da 40 a 75 GB intermedia è una mia lettura di quella regola: ci sta, ma è la KV cache a decidere quanti utenti ci stanno. Le dimensioni della KV cache per 22 modelli attuali, calcolate da ciascun config.json, sono in dimensione della KV cache per modello.
Verifica della formula con i log di GPUwerk
Le prove vLLM di GPUwerk hanno registrato quanti token KV entrano con un utilizzo della memoria GPU di 0,85. I log sono il riferimento; la formula deve solo avvicinarsi.
| Modello | KV per token | Token KV registrati a 0,85 | Dimensione KV secondo la formula | Verifica incrociata |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327.680 byte (80 layer, 8 head KV, dim 128, FP16) | 207.120 | 63,2 GiB | 37 GiB di pesi + 63,2 GiB di KV = 100,2 GiB, a fronte di un budget di 0,85 x 121,6 = 103,4 GiB. I 3,2 GiB restanti sono overhead del motore. |
| Qwen3-Coder 30B-A3B AWQ | 98.304 byte (48 layer, 4 head KV, dim 128, FP16) | 924.912 | 84,7 GiB | Lascia 18,7 GiB del budget di 103,4 GiB per pesi e overhead. Parametri x 0,56 dà circa 16 GiB di pesi, il che è coerente. |
Token KV e il dato di 37 GiB: le pagine e i log di GPUwerk su Llama 3.3 70B e Qwen3-Coder 30B-A3B. Numero di layer, head e dimensioni: i file config.json dei modelli su Hugging Face (mirror di Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), verificati il 2026-10-11. Le somme di verifica incrociata sono miei calcoli.
Una precisazione sulle unità: la pagina dei benchmark e quella di Llama 3.3 70B di GPUwerk dividono 273 GB/s per 37 ottenendo un limite di 7,4 tok/s, trattando i 37 GiB registrati come 37 GB. Convertendo (37 GiB sono 39,7 GB), il limite è 6,9 tok/s, e il calcolatore usa quel valore. Rispetto a 6,9, i 6,0 tok/s misurati sono circa l'87% del limite, poco sopra la fascia 50–80%.
Perché la memoria unificata è diversa
Una GPU discreta ha la propria VRAM, e il modello o ci sta o deborda su un lento collegamento PCIe. La DGX Spark ha un unico pool di 128 GB LPDDR5x condiviso tra CPU e GPU. I log di GPUwerk ne mostrano circa 121,6 GiB indirizzabili, che devono coprire sistema operativo, Docker, page cache e ogni altro processo oltre ai tuoi pesi e alla KV cache.
Le note di rilascio della DGX Spark di NVIDIA (verificate il 2026-10-11) indicano la memoria riservata al display come regolabile nella release di luglio 2026: 2 GB per impostazione predefinita, 4 GB tramite BIOS. Se usi un display, verifica cosa riporta il tuo sistema con free -h prima di dimensionare un modello fino all'ultimo gigabyte. GPUwerk inoltre fa girare le sue Spark senza swap da un intervento di hardening della memoria del 9 settembre 2026, quindi esaurirla produce un errore di memoria esaurita, non un rallentamento.
Il pool è anche il motivo per cui è la banda, più che la capacità, a limitare la velocità: 273 GB/s alimentano ogni token, quindi un modello denso da 70B legge circa 37 GiB per token mentre un mixture-of-experts con 3B attivi ne legge meno di 2 GB. Vedi la pagina delle specifiche per l'elenco completo dell'hardware.
Per una GPU dedicata o un Mac, FitLocally esegue lo stesso tipo di verifica di compatibilità per circa 110 modelli aperti su schede grafiche, Mac e mini PC. È un sito separato che pubblico io.
Modelli che non entrano in una Spark
Il calcolatore include due esempi che non ci stanno. Entrambi si basano su pagine di aggregatori, non su model card o dati di prima mano di GPUwerk, quindi considera le dimensioni indicative.
| Modello | Dimensione usata | Fonte (aggregatore) | Perché non funziona |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B parametri) | llmrun.dev | Circa 2,5 volte i 121,6 GiB (130,6 GB) di una Spark, e più di quanto contengano due Spark insieme (circa 261 GB) |
| Kimi K3, 4 bit | circa 1.570 GB (2,8T parametri x 0,56) | slash-digital.io | 12 volte la capacità di una Spark |
Verificato il 2026-10-11. La dimensione di Kimi a 4 bit è una mia moltiplicazione, non una quantizzazione pubblicata.
Due Spark, e la variante da 64 GB
Due Spark collegate ti danno due pool da 121,6 GiB, non 256 GB per un singolo modello. Il calcolatore divide pesi e KV equamente e verifica ogni nodo, il che è ottimistico perché le suddivisioni reali raramente sono perfettamente uniformi. Per la configurazione, vedi la guida al cluster a due nodi. Per provare un modello su hardware reale prima di acquistare, la pagina sul noleggio spiega il noleggio al minuto.
La pagina prodotto NVIDIA elenca una variante da 64 GB venduta tramite partner OEM (vedi la pagina delle specifiche), e il resoconto di The Register del 2 ottobre 2026 tratta l'annuncio, compresa la banda invariata di 273 GB/s (verificato il 2026-10-11). GPUwerk non ne ha usata una, quindi il dato di 60,8 GiB del calcolatore è la metà di 121,6 e nulla di più. A quella dimensione, l'esempio del 70B a 4 bit (37 GiB) lascerebbe circa 24 GiB prima di overhead e KV. La guida 64 GB vs 128 GB analizza quali modelli attuali entrano in ciascuna.
FAQ
Quanta memoria serve a un modello 70B?
I pesi sono i parametri per i byte per parametro: circa 140 GB in FP16, 70 GB in FP8 e 37 GB a 4 bit, come illustra la pagina dei modelli. Su una DGX Spark con circa 121,6 GiB indirizzabili, FP16 non ci sta, FP8 (70 GB) ci sta ma resta appena sotto la soglia dei 75 GB in cui diventa un modello per un solo utente, e 4 bit lascia circa 84 GiB prima della KV cache. Llama 3.3 70B aggiunge 327.680 byte di KV cache per token in FP16, quindi 8.192 token per una sequenza sono circa 2,7 GB.
gpt-oss-120b ci sta su una DGX Spark?
Sì. I pesi MXFP4 nel repository Hugging Face di OpenAI totalizzano 65,2 GB (60,8 GiB), il che lascia circa 61 GiB dei 121,6 GiB di memoria indirizzabile per KV cache e overhead. GPUwerk non ha misurato occupazione di memoria né velocità di questo modello. I circa 60 tok/s spesso citati sotto llama.cpp sono un rapporto di terze parti (tg32 su contesto vuoto, che scende a circa 40 tok/s con 32.768 token di contesto), non una misurazione di GPUwerk.
Cos'è la memoria unificata per gli LLM?
La DGX Spark ha un unico pool di 128 GB di LPDDR5x usato sia dalla CPU sia dalla GPU, quindi non c'è una VRAM separata. Pesi, KV cache, sistema operativo, Docker e page cache attingono tutti allo stesso pool, e un modello "troppo grande per la VRAM" è semplicemente troppo grande per ciò che resta di quel pool. Significa anche che è la banda di 273 GB/s, non la capacità, a determinare la velocità di decodifica.
Due Spark significano 256 GB per un solo modello?
No. Due Spark collegate sono due pool separati da 121,6 GiB uniti da un collegamento di rete, non un unico pool da 256 GB. Un modello va suddiviso tra di esse, ad esempio con tensor o pipeline parallelism, e ogni nodo ha comunque bisogno della sua parte di pesi, KV cache e overhead. Questa pagina verifica lo spazio per nodo e non fa affermazioni sulla velocità con due nodi; l'unica coppia misurata da GPUwerk, Qwen3-32B con tensor parallelism, è nella pagina dei benchmark. La guida al cluster a due nodi copre la configurazione.
Quanto è preciso questo calcolatore?
È una stima, non un valore esatto. Esclude buffer del motore, CUDA graph, metadati di quantizzazione oltre alla media dei byte per parametro, e allocazioni specifiche del motore come il pool KV pre-dimensionato di vLLM. Per Llama 3.3 70B AWQ la stima e i log dei benchmark di GPUwerk coincidono entro circa 3 GiB, e i log sono il riferimento. Prova un carico reale prima di impegnarti su una configurazione.