DGX Spark/Kalkulator memorije
Kalkulator

Stane li na DGX Spark? Kalkulator memorije za LLM-ove

Autor: Samuel Seidel · Objavljeno 11. listopada 2026. · 6 min čitanja

Model od 70B u 4 bita treba oko 37 GiB za težine, što od 121,6 GiB adresabilne objedinjene memorije DGX Sparka ostavlja oko 84 GiB za KV predmemoriju i režiju; u FP16 (oko 140 GB) isti model ne stane. Stane i gpt-oss-120b: njegove MXFP4 težine ukupno imaju 65,2 GB (60,8 GiB), pa ostaje oko 61 GiB. Unesite vlastiti model u nastavku; formule i njihova ograničenja navedeni su ispod kalkulatora. Ja vodim GPUwerk, koji iznajmljuje DGX Sparkove, pa to imajte na umu pri procjeni.

Dva izračunana primjera

ModelTežinePreostalo od 121,6 GiBZaključak
Llama 3.3 70B, AWQ 4-bitoko 37 GiB (GPUwerk zapis)oko 84 GiB, oko 82 GiB nakon 8.192 tokena KV-a za jednog korisnikaStane. Memorija ostavlja prostora za tim; brzina ne (GPUwerk je izmjerio 6,0 tok/s za jednog korisnika)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), Hugging Face repozitorijoko 61 GiB prije KV-a i režijeStane. Između granica od 40 i 75 GB, pa stane nekoliko korisnika ako KV predmemorija ostane mala

Podaci o 37 GiB Llaminih težina, 6,0 tok/s i 121,6 GiB potječu iz GPUwerkove dokumentacije za vLLM, stranice o Llami 3.3 70B i stranice s mjerenjima performansi. Veličina gpt-oss-120b zbroj je MXFP4 safetensors datoteka u openai/gpt-oss-120b na Hugging Faceu, provjereno 2026-10-11; llama.cpp u raspravi #16578 navodi MXFP4 GGUF kao 59,02 GiB. GPUwerk nije mjerio koliko memorije zauzima gpt-oss-120b. Oduzimanje i veličina KV-a moj su izračun.

Stati je samo pola priče: gusti model od 70B koji lako stane svejedno generira oko 6 tokena u sekundi za jedan zahtjev, jer svaki token čita sve njegove težine. Koji veliki modeli rade dovoljno brzo na jednom Sparku usporedba je gustih modela i mixture-of-experts modela, s izmjerenim i prijavljenim brzinama.

Kalkulator

Sve se izvodi u vašem pregledniku i ništa se ne pohranjuje ni ne šalje. Odaberite gotovu postavku ili unesite svoje brojke. Rezultati se pojavljuju ispod obrasca i ažuriraju se dok tipkate.

Model

Unesite svoje brojke.

KV predmemorija
Stroj
Unesite model iznad da vidite procjenu. Bez JavaScripta upotrijebite formule u nastavku ili dva izračunana primjera iznad.

Zadanih 4 GiB za režiju moja je pretpostavka, prema „nekoliko gigabajta” sa stranice o modelima za aktivacije i CUDA kontekst. Opcija od 64 GB prepolovljuje GPUwerkovih opaženih 121,6 GiB; GPUwerk tu varijantu nije pokretao. Način rada s dva čvora pretpostavlja ravnomjernu podjelu težina i KV-a.

Kako procjena funkcionira

Tri formule, sve obična aritmetika:

Bajtovi po parametru prosječne su, a ne točne vrijednosti. FP16 je 2, a FP8 je 1. 4-bitni formati (INT4, AWQ, NVFP4, MXFP4) nalaze se između 0,5 i 0,56 kada se uračunaju faktori skaliranja, a ova stranica zadano koristi 0,56. 2-bitni GGUF je oko 0,3. Dinamičke GGUF kvantizacije miješaju širine bitova, pa su objavljene veličine datoteka pouzdanije od bilo koje formule.

Zaključak slijedi okvirno pravilo sa stranice o modelima. Ispod otprilike 40 GB težina po čvoru ostaje prostora za posluživanje tima, iznad otprilike 75 GB riječ je o modelu za jednog korisnika, a negativna rezerva znači da ne stane. Raspon od 40 do 75 GB između njih moje je čitanje tog pravila: stane, ali KV predmemorija odlučuje koliko korisnika stane. Veličine KV predmemorije za 22 aktualna modela, izračunane iz svakog config.json, nalaze se u tekstu veličina KV predmemorije po modelu.

Provjera formule prema GPUwerkovim zapisima

GPUwerkova vLLM mjerenja zabilježila su koliko KV tokena stane pri iskorištenosti GPU memorije od 0,85. Zapisi su mjerodavni; formula ih samo treba približno pogoditi.

ModelKV po tokenuZabilježeni KV tokeni pri 0,85Veličina KV-a po formuliUnakrsna provjera
Llama 3.3 70B AWQ327.680 bajtova (80 slojeva, 8 KV glava, dimenzija 128, FP16)207.12063,2 GiB37 GiB težina + 63,2 GiB KV = 100,2 GiB, naspram budžeta od 0,85 x 121,6 = 103,4 GiB. Preostalih 3,2 GiB troši sam pogon.
Qwen3-Coder 30B-A3B AWQ98.304 bajta (48 slojeva, 4 KV glave, dimenzija 128, FP16)924.91284,7 GiBOstaje 18,7 GiB od 103,4 GiB predviđenih za težine i režiju. Parametri x 0,56 daju oko 16 GiB težina, što se poklapa.

KV tokeni i podatak od 37 GiB: GPUwerkove stranice i zapisi za Llamu 3.3 70B i Qwen3-Coder 30B-A3B. Broj slojeva, glava i dimenzija: datoteke config.json tih modela na Hugging Faceu (zrcalo Llame 3.3 70B, Qwen3-Coder, gpt-oss-120b), provjereno 2026-10-11. Zbrojevi za unakrsnu provjeru moj su izračun.

Jedna nedosljednost u mjernim jedinicama: GPUwerkova stranica s mjerenjima i stranica o Llami 3.3 70B dijele 273 GB/s s 37 da bi dobile granicu od 7,4 tok/s, tretirajući zabilježenih 37 GiB kao 37 GB. Preračunato (37 GiB je 39,7 GB), granica je 6,9 tok/s i kalkulator koristi tu brojku. U odnosu na 6,9, izmjerenih 6,0 tok/s čini oko 87 % granice, nešto iznad raspona od 50 do 80 %.

Zašto je objedinjena memorija drukčija

Zasebni GPU ima vlastiti VRAM, a model ili stane u njega ili se prelijeva preko spore PCIe veze. DGX Spark ima jedan skup od 128 GB LPDDR5x memorije koji dijele CPU i GPU. GPUwerkovi zapisi pokazuju da je od toga adresabilno oko 121,6 GiB, a to mora pokriti operacijski sustav, Docker, predmemoriju stranica i sve druge procese, kao i vaše težine i KV predmemoriju.

NVIDIA-ine bilješke uz izdanje DGX Sparka (provjereno 2026-10-11) navode da je memorija rezervirana za prikaz podesiva od izdanja iz srpnja 2026.: 2 GB prema zadanome, 4 GB preko BIOS-a. Ako koristite prikaz, provjerite što vaš sustav javlja s free -h prije nego što model dimenzionirate do posljednjeg gigabajta. GPUwerk svoje Sparkove od pooštravanja memorijskih postavki 9. rujna 2026. vodi i bez swapa, pa nedostatak memorije znači pogrešku, a ne usporavanje.

Taj je skup i razlog zašto brzinu ograničava propusnost, a ne kapacitet: 273 GB/s hrani svaki token, pa gusti model od 70B po tokenu čita oko 37 GiB, dok mixture-of-experts model s 3B aktivnih parametara čita manje od 2 GB. Potpun popis hardvera pogledajte na stranici sa specifikacijama.

Za zasebni GPU ili Mac FitLocally provodi istu vrstu provjere za oko 110 otvorenih modela na grafičkim karticama, Macovima i mini računalima. To je zasebna stranica koju objavljujem.

Modeli koji ne stanu na jedan Spark

Kalkulator uključuje dva primjera koja ne prolaze. Oba se oslanjaju na stranice agregatora, a ne na kartice modela ni na GPUwerkove vlastite podatke, pa veličine shvatite kao okvirne.

ModelIskorištena veličinaIzvor (agregator)Zašto ne uspijeva
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametara)llmrun.devOko 2,5 puta više od 121,6 GiB (130,6 GB) jednog Sparka, i više nego što dva Sparka zajedno mogu primiti (oko 261 GB)
Kimi K3, 4-bitoko 1.570 GB (2,8T parametara x 0,56)slash-digital.io12 puta veći kapacitet od jednog Sparka

Provjereno 2026-10-11. 4-bitna veličina Kimija moj je izračun, a ne objavljena kvantizacija.

Dva Sparka i varijanta sa 64 GB

Dva povezana Sparka daju vam dva skupa od 121,6 GiB, a ne 256 GB za jedan model. Kalkulator težine i KV dijeli ravnomjerno i provjerava svaki čvor, što je optimistično jer su stvarne podjele rijetko savršeno ravnomjerne. Za postavljanje pogledajte vodič za klaster od dva čvora. Za isprobavanje modela na stvarnom hardveru prije kupnje, stranica o tome kako unajmiti objašnjava najam po minuti.

NVIDIA-ina stranica proizvoda navodi varijantu sa 64 GB koja se prodaje preko OEM partnera (pogledajte stranicu sa specifikacijama), a izvještaj The Registera od 2. listopada 2026. pokriva objavu, uključujući nepromijenjenih 273 GB/s propusnosti (provjereno 2026-10-11). GPUwerk ga nije pokretao, pa je podatak od 60,8 GiB u kalkulatoru samo polovica od 121,6 i ništa više. Pri toj bi veličini primjer modela od 70B u 4-bitnom zapisu (37 GiB) ostavio oko 24 GiB prije režije i KV-a. Vodič o 64 GB naspram 128 GB redom prolazi koji aktualni modeli stanu na jedan, a koji na drugi.

Česta pitanja

Koliko memorije treba modelu od 70B?

Težine su parametri pomnoženi s brojem bajtova po parametru: oko 140 GB u FP16, 70 GB u FP8 i 37 GB u 4-bitnom zapisu, kako to navodi stranica o modelima. Na DGX Sparku s otprilike 121,6 GiB adresabilne memorije FP16 ne stane, FP8 (70 GB) stane, ali je tik ispod granice od 75 GB iznad koje postaje model za jednog korisnika, a 4-bitni zapis ostavlja oko 84 GiB prije KV predmemorije. Llama 3.3 70B u FP16 dodaje 327.680 bajtova KV predmemorije po tokenu, pa 8.192 tokena za jednu sekvencu iznosi oko 2,7 GB.

Stane li gpt-oss-120b na DGX Spark?

Da. MXFP4 težine u OpenAI-jevu repozitoriju na Hugging Faceu ukupno iznose 65,2 GB (60,8 GiB), što od 121,6 GiB adresabilne memorije ostavlja oko 61 GiB za KV predmemoriju i režiju. GPUwerk nije mjerio koliko memorije ni koliku brzinu ovaj model ima. Otprilike 60 tok/s koje se za njega često navodi uz llama.cpp izvještaj je treće strane (tg32 na praznom kontekstu, s padom na oko 40 tok/s pri kontekstu od 32.768 tokena), a ne GPUwerkovo mjerenje.

Što je objedinjena memorija za LLM-ove?

DGX Spark ima jedan skup od 128 GB LPDDR5x memorije koji koriste i procesor i GPU, pa zasebnog VRAM-a nema. Težine, KV predmemorija, operativni sustav, Docker i predmemorija stranica sve crpe iz istog skupa, a model koji je „prevelik za VRAM” jednostavno je prevelik za ono što je od tog skupa preostalo. To ujedno znači da brzinu dekodiranja određuje propusnost od 273 GB/s, a ne kapacitet.

Znači li dva Sparka 256 GB za jedan model?

Ne. Dva povezana Sparka dva su odvojena skupa od 121,6 GiB spojena mrežnom vezom, a ne jedan skup od 256 GB. Model se mora podijeliti između njih, primjerice tenzorskim ili cjevovodnim paralelizmom, a svakom čvoru i dalje treba njegov dio težina, KV predmemorije i režije. Ova stranica provjerava stane li model po čvoru i ne iznosi nikakvu tvrdnju o brzini s dva čvora; jedini izmjereni par GPUwerka, Qwen3-32B s tenzorskim paralelizmom, nalazi se na stranici s mjerenjima performansi. Vodič za klaster od dva čvora opisuje postavljanje.

Koliko je ovaj kalkulator točan?

Riječ je o procjeni, a ne o točnoj brojci. Izostavlja međuspremnike pogona, CUDA grafove, metapodatke kvantizacije iznad prosjeka bajtova po parametru te dodjelu specifičnu za pogon, kao što je vLLM-ov unaprijed dimenzioniran KV skup. Za Llamu 3.3 70B AWQ procjena i GPUwerkovi zapisi mjerenja poklapaju se unutar otprilike 3 GiB, a zapisi su mjerodavni. Isprobajte stvarno opterećenje prije nego što se obvežete na konfiguraciju.

Prva nadoplata: platite 20 USD, dobijete 30 USD kredita

Provjerite procjenu na pravom Sparku.

Unajmite namjenski DGX Spark u Europi, Sjevernoj Americi ili Istočnoj Aziji za 0,79 USD/h, uz naplatu po minuti, i učitajte model koji ste upravo dimenzionirali.

Izradite korisnički račun Pogledajte cijene