Passer det på en DGX Spark? LLM-hukommelsesberegner
En 70B-model ved 4-bit kræver cirka 37 GiB vægte, hvilket efterlader cirka 84 GiB af en DGX Sparks 121,6 GiB adresserbare unified memory til KV-cache og overhead; ved FP16 (cirka 140 GB) passer den samme model ikke. gpt-oss-120b passer også: dens MXFP4-vægte fylder i alt 65,2 GB (60,8 GiB), hvilket efterlader cirka 61 GiB. Indtast din egen model nedenfor; formlerne og deres begrænsninger står efter beregneren. Jeg driver GPUwerk, som udlejer DGX Sparks, så vurder fremstillingen med det i baghovedet.
To gennemregnede svar
| Model | Vægte | Tilbage af 121,6 GiB | Vurdering |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-bit | cirka 37 GiB (GPUwerk-log) | cirka 84 GiB, cirka 82 GiB efter 8.192 tokens KV for én bruger | Passer. Hukommelsen giver plads til et team; hastigheden gør ikke (GPUwerk målte 6,0 tok/s for én bruger) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), Hugging Face-repo | cirka 61 GiB før KV og overhead | Passer. Mellem linjerne for 40 og 75 GB, så der er plads til nogle få brugere, hvis KV-cachen holdes lille |
De 37 GiB Llama-vægte, de 6,0 tok/s og tallet på 121,6 GiB kommer fra GPUwerks vLLM-dokumentation, side om Llama 3.3 70B og benchmarkside. Størrelsen på gpt-oss-120b er summen af MXFP4-safetensors-filerne i openai/gpt-oss-120b på Hugging Face, tjekket 2026-10-11; llama.cpp angiver MXFP4-GGUF'en til 59,02 GiB i diskussion #16578. GPUwerk har ikke målt gpt-oss-120b's hukommelsesforbrug. Subtraktion og KV-størrelse er min egen beregning.
At passe er kun halvdelen: en tæt 70B, der nemt passer, genererer stadig kun cirka 6 tokens i sekundet for én forespørgsel, fordi hvert token læser alle dens vægte. Hvilke store modeller kører hurtigt nok på én Spark sammenligner tætte modeller og mixture-of-experts-modeller med målte og rapporterede hastigheder.
Beregner
Alt kører i din browser, og intet gemmes eller sendes. Vælg en forudindstilling, eller indtast dine egne tal. Resultaterne vises under formularen og opdateres, mens du skriver.
Standardværdien på 4 GiB overhead er min antagelse, baseret på modelsidens "nogle få gigabyte" til aktiveringer og CUDA-konteksten. Muligheden med 64 GB halverer GPUwerks observerede 121,6 GiB; GPUwerk har ikke kørt den variant. Tilstanden med to noder antager, at vægte og KV fordeles ligeligt.
Sådan fungerer estimatet
Tre formler, alle almindelig aritmetik:
- Vægte (GB) = samlede parametre i milliarder x byte pr. parameter. En 70B-model er cirka 140 GB ved FP16, 70 GB ved FP8 og 37 GB ved 4-bit, de samme tal som på modelsiden.
- KV-cache (byte) = 2 x lag x KV-heads x head-dimension x byte pr. værdi x tokens x sekvenser. Tallet 2 er én nøgle og én værdi pr. head.
- Dekodningsloft (tok/s) = 273 GB/s divideret med de GB vægte for aktive parametre, der læses pr. token. Det er et aritmetisk loft, ikke en forventet hastighed. GPUwerks benchmarkside placerer rigtige engines på cirka 50 til 80 % af det og viser, hvor GPUwerks egne kørsler landede.
Byte pr. parameter er gennemsnit, ikke præcise værdier. FP16 er 2, og FP8 er 1. 4-bit-formaterne (INT4, AWQ, NVFP4, MXFP4) lander mellem 0,5 og 0,56, når skaleringsfaktorer medregnes, og denne side bruger 0,56 som standard. En 2-bit GGUF er cirka 0,3. Dynamiske GGUF-kvantiseringer blander bitbredder, så offentliggjorte filstørrelser slår enhver formel.
Vurderingen følger modelsidens tommelfingerregel. Under cirka 40 GB vægte pr. node giver plads til at betjene et team, over cirka 75 GB er en model til én bruger, og negativt overskud betyder, at den ikke passer. Intervallet på 40 til 75 GB derimellem er min fortolkning af den regel: den passer, men KV-cachen afgør, hvor mange brugere der er plads til. KV-cachestørrelser for 22 aktuelle modeller, beregnet ud fra hver config.json, står i KV-cachestørrelse efter model.
Formlen tjekket mod GPUwerks logfiler
GPUwerks vLLM-kørsler loggede, hvor mange KV-tokens der var plads til ved 0,85 GPU-hukommelsesudnyttelse. Logfilerne er facit; formlen skal bare lande tæt på dem.
| Model | KV pr. token | Loggede KV-tokens ved 0,85 | KV-størrelse efter formel | Krydstjek |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327.680 byte (80 lag, 8 KV-heads, 128 dim, FP16) | 207.120 | 63,2 GiB | 37 GiB vægte + 63,2 GiB KV = 100,2 GiB mod et budget på 0,85 x 121,6 = 103,4 GiB. De resterende 3,2 GiB er enginens overhead. |
| Qwen3-Coder 30B-A3B AWQ | 98.304 byte (48 lag, 4 KV-heads, 128 dim, FP16) | 924.912 | 84,7 GiB | Efterlader 18,7 GiB af budgettet på 103,4 GiB til vægte og overhead. Parametre x 0,56 giver cirka 16 GiB vægte, hvilket stemmer. |
KV-tokens og tallet på 37 GiB: GPUwerks sider og logfiler om Llama 3.3 70B og Qwen3-Coder 30B-A3B. Antal lag, heads og dimensioner: modellernes config.json-filer på Hugging Face (Llama 3.3 70B-spejl, Qwen3-Coder, gpt-oss-120b), tjekket 2026-10-11. Summerne i krydstjekket er min egen beregning.
En enhedsdetalje: GPUwerks benchmarkside og side om Llama 3.3 70B dividerer 273 GB/s med 37 og får et loft på 7,4 tok/s, idet de loggede 37 GiB behandles som 37 GB. Omregnet (37 GiB er 39,7 GB) er loftet 6,9 tok/s, og beregneren bruger det tal. Mod 6,9 er de målte 6,0 tok/s cirka 87 % af loftet, lidt over intervallet på 50 til 80 %.
Hvorfor unified memory er anderledes
En separat GPU har sin egen VRAM, og modellen passer enten der eller flyder over på et langsomt PCIe-link. DGX Spark har én pulje på 128 GB LPDDR5x, som deles af CPU og GPU. GPUwerks logfiler viser cirka 121,6 GiB heraf som adresserbart, og det skal dække styresystemet, Docker, sidecachen og alle andre processer foruden dine vægte og din KV-cache.
NVIDIAs udgivelsesnoter for DGX Spark (tjekket 2026-10-11) angiver, at den hukommelse, der er reserveret til skærmen, kan justeres i udgivelsen fra juli 2026: 2 GB som standard, 4 GB via BIOS. Kører du en skærm, så tjek, hvad dit eget system rapporterer med free -h, før du dimensionerer en model til den sidste gigabyte. GPUwerk kører også sine Sparks uden swap siden en hukommelseshærdning den 9. september 2026, så løber hukommelsen tør, er det en out-of-memory-fejl, ikke en opbremsning.
Puljen er også grunden til, at det er båndbredde frem for kapacitet, der begrænser hastigheden: 273 GB/s fodrer hvert token, så en tæt 70B-model læser cirka 37 GiB pr. token, mens en mixture-of-experts-model med 3B aktive læser under 2 GB. Se specifikationssiden for den fulde hardwareliste.
Til et dedikeret grafikkort eller en Mac laver FitLocally samme slags pastjek for omkring 110 åbne modeller på tværs af grafikkort, Macs og mini-pc'er. Det er en separat side, som jeg udgiver.
Modeller, der ikke passer på én Spark
Beregneren indeholder to eksempler, der ikke passer. Begge bygger på aggregatorsider, ikke modelkort eller GPUwerks egne tal, så betragt størrelserne som vejledende.
| Model | Forbrugt plads | Kilde (aggregator) | Hvorfor det mislykkes |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B parametre) | llmrun.dev | Cirka 2,5 gange én Sparks 121,6 GiB (130,6 GB) og mere end to Sparks rummer tilsammen (cirka 261 GB) |
| Kimi K3, 4-bit | cirka 1.570 GB (2,8T parametre x 0,56) | slash-digital.io | 12 gange kapaciteten af én Spark |
Tjekket 2026-10-11. 4-bit-størrelsen for Kimi er min egen multiplikation, ikke en offentliggjort kvantisering.
To Sparks og varianten med 64 GB
To forbundne Sparks giver dig to puljer på 121,6 GiB, ikke 256 GB til én model. Beregneren fordeler vægte og KV ligeligt og tjekker hver node, hvilket er optimistisk, fordi reelle opdelinger sjældent er helt lige. Opsætningen står i guiden til klynger med to noder. Vil du prøve en model på rigtig hardware, før du køber, forklarer siden om leje, hvordan du lejer pr. minut.
NVIDIAs produktside angiver en variant med 64 GB, der sælges gennem OEM-partnere (se specifikationssiden), og The Registers artikel fra 2. oktober 2026 dækker annonceringen, inklusive den uændrede båndbredde på 273 GB/s (tjekket 2026-10-11). GPUwerk har ikke kørt en, så beregnerens tal på 60,8 GiB er halvdelen af 121,6 og intet andet. Ved den størrelse ville 4-bit-eksemplet med 70B (37 GiB) efterlade cirka 24 GiB før overhead og KV. Guiden 64 GB vs 128 GB gennemgår, hvilke aktuelle modeller der passer på hver.
FAQ
Hvor meget hukommelse kræver en 70B-model?
Vægte er parametre gange byte pr. parameter: cirka 140 GB ved FP16, 70 GB ved FP8 og 37 GB ved 4-bit, som modelsiden beskriver. På en DGX Spark med cirka 121,6 GiB adresserbart passer FP16 ikke, FP8 (70 GB) passer, men ligger lige under grænsen på 75 GB, hvor den bliver en model til én bruger, og 4-bit efterlader cirka 84 GiB før KV-cache. Llama 3.3 70B tilføjer 327.680 byte KV-cache pr. token ved FP16, så 8.192 tokens for én sekvens er cirka 2,7 GB.
Passer gpt-oss-120b på en DGX Spark?
Ja. MXFP4-vægtene i OpenAIs Hugging Face-repository fylder i alt 65,2 GB (60,8 GiB), hvilket efterlader cirka 61 GiB af de 121,6 GiB adresserbare hukommelse til KV-cache og overhead. GPUwerk har ikke målt denne models hukommelsesforbrug eller hastighed. De cirka 60 tok/s, der ofte nævnes for den under llama.cpp, er en tredjepartsrapport (tg32 med tom kontekst, faldende til cirka 40 tok/s ved 32.768 tokens kontekst), ikke en måling fra GPUwerk.
Hvad er unified memory for LLM'er?
DGX Spark har én pulje på 128 GB LPDDR5x, som både CPU og GPU bruger, så der er ingen separat VRAM. Vægte, KV-cache, styresystemet, Docker og sidecachen trækker alle fra samme pulje, og en model, der er "for stor til VRAM", er simpelthen for stor til det, der er tilbage af puljen. Det betyder også, at det er båndbredden på 273 GB/s, ikke kapaciteten, der bestemmer dekodningshastigheden.
Betyder to Sparks 256 GB til én model?
Nej. To forbundne Sparks er to separate puljer på 121,6 GiB forbundet af et netværkslink, ikke én pulje på 256 GB. En model skal deles mellem dem, f.eks. med tensor- eller pipeline-parallelisme, og hver node skal stadig have sin andel af vægte, KV-cache og overhead. Denne side tjekker tilpasning pr. node og påstår intet om hastighed med to noder; GPUwerks ene målte par, Qwen3-32B med tensor-parallelisme, står på benchmarksiden. Guiden til klynger med to noder dækker opsætningen.
Hvor præcis er denne beregner?
Det er et estimat, ikke et præcist tal. Det udelader enginens buffere, CUDA-grafer, kvantiseringsmetadata ud over gennemsnittet for byte pr. parameter og engine-specifik allokering som vLLM's forudallokerede KV-pulje. For Llama 3.3 70B AWQ stemmer estimatet og GPUwerks benchmarklogfiler overens inden for cirka 3 GiB, og logfilerne er facit. Test en reel belastning, før du binder dig til en konfiguration.