DGX Spark/Kalkulator pomnilnika
Kalkulator

Gre na DGX Spark? Kalkulator pomnilnika za LLM

Avtor Samuel Seidel · Objavljeno 11. oktobra 2026 · 6 min branja

Model 70B pri 4 bitih potrebuje približno 37 GiB uteži, kar od 121,6 GiB naslovljivega enotnega pomnilnika DGX Spark pusti približno 84 GiB za predpomnilnik KV in režijo; pri FP16 (približno 140 GB) isti model ne gre v pomnilnik. V pomnilnik gre tudi gpt-oss-120b: njegove uteži MXFP4 skupaj obsegajo 65,2 GB (60,8 GiB), kar pusti približno 61 GiB. Spodaj vnesite svoj model; formule in njihove omejitve so pod kalkulatorjem. Vodim GPUwerk, ki oddaja DGX Sparke v najem, zato to upoštevajte pri presoji.

Dva izračunana odgovora

ModelUtežiPreostanek od 121,6 GiBSodba
Llama 3.3 70B, AWQ 4-bitnopribližno 37 GiB (dnevnik GPUwerka)približno 84 GiB, približno 82 GiB po 8.192 tokenih KV za enega uporabnikaGre v pomnilnik. Pomnilnik pusti prostor za ekipo, hitrost pa ne (GPUwerk je izmeril 6,0 tok/s za enega uporabnika)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repozitorij Hugging Facepribližno 61 GiB pred KV in režijoGre v pomnilnik. Med mejama 40 in 75 GB, zato je mogoče streči nekaj uporabnikov, če predpomnilnik KV ostane majhen

Podatki o 37 GiB uteži Llama, 6,0 tok/s in 121,6 GiB so iz dokumenta o vLLM, strani Llama 3.3 70B in strani z meritvami pri GPUwerku. Velikost gpt-oss-120b je vsota datotek safetensors v obliki MXFP4 v openai/gpt-oss-120b na Hugging Face, preverjeno 11. 10. 2026; llama.cpp v razpravi #16578 navaja MXFP4 GGUF z 59,02 GiB. GPUwerk porabe pomnilnika gpt-oss-120b ni izmeril. Odštevanje in velikost KV sta moj izračun.

Prileganje je le polovica zgodbe: gost model s 70B, ki zlahka gre v pomnilnik, za eno zahtevo še vedno ustvari približno 6 tokenov na sekundo, ker vsak token prebere vse njegove uteži. Kateri veliki modeli tečejo dovolj hitro na enem Sparku primerja goste modele in modele mixture-of-experts z izmerjenimi in objavljenimi hitrostmi.

Kalkulator

Vse teče v vašem brskalniku in nič se ne shranjuje ali pošilja. Izberite prednastavitev ali vnesite svoje številke. Rezultati se pokažejo pod obrazcem in se posodabljajo med tipkanjem.

Model

Vnesite svoje podatke.

Predpomnilnik KV
Naprava
Zgoraj vnesite model, da vidite oceno. Brez JavaScripta uporabite spodnje formule ali dva izračunana odgovora zgoraj.

Privzeta režija 4 GiB je moja predpostavka, oprta na "nekaj gigabajtov" za aktivacije in kontekst CUDA s strani o modelih. Možnost s 64 GB prepolovi 121,6 GiB, ki jih je opazil GPUwerk; te različice GPUwerk ni poganjal. Način z dvema vozliščema predpostavlja enakomerno razdelitev uteži in KV.

Kako deluje ocena

Tri formule, vse preprosto računstvo:

Bajti na parameter so povprečja, ne natančne vrednosti. FP16 je 2, FP8 je 1. Štiribitni formati (INT4, AWQ, NVFP4, MXFP4) se po upoštevanju faktorjev gibljejo med 0,5 in 0,56, ta stran pa privzeto uporablja 0,56. Dvobitni GGUF je približno 0,3. Dinamične kvantizacije GGUF mešajo bitne širine, zato so objavljene velikosti datotek zanesljivejše od vsake formule.

Sklep sledi okvirnemu pravilu s strani o modelih. Manj kot približno 40 GB uteži na vozlišče pusti prostor za strežbo ekipi, več kot približno 75 GB je model za enega uporabnika, negativna rezerva pa pomeni, da ne gre v pomnilnik. Pas med 40 in 75 GB je moje branje tega pravila: gre v pomnilnik, a predpomnilnik KV odloči, koliko uporabnikov je mogoče streči. Velikosti predpomnilnika KV za 22 aktualnih modelov, izračunane iz vsakega config.json, so v članku velikost predpomnilnika KV po modelih.

Preverjanje formule na dnevnikih GPUwerka

Zagoni vLLM pri GPUwerku so zabeležili, koliko tokenov KV gre v pomnilnik pri 0,85 izkoriščenosti pomnilnika GPU. Dnevniki so merodajni; formula mora le pristati blizu njih.

ModelKV na tokenZabeleženi tokeni KV pri 0,85Velikost KV po formuliNavzkrižno preverjanje
Llama 3.3 70B AWQ327.680 bajtov (80 plasti, 8 glav KV, dimenzija 128, FP16)207.12063,2 GiB37 GiB uteži + 63,2 GiB KV = 100,2 GiB glede na proračun 0,85 x 121,6 = 103,4 GiB. Preostalih 3,2 GiB je režija pogona.
Qwen3-Coder 30B-A3B AWQ98.304 bajtov (48 plasti, 4 glave KV, dimenzija 128, FP16)924.91284,7 GiBOd 103,4 GiB proračuna ostane 18,7 GiB za uteži in režijo. Parametri krat 0,56 dajo približno 16 GiB uteži, kar se ujema.

Tokeni KV in podatek o 37 GiB: strani in dnevniki GPUwerka za Llama 3.3 70B in Qwen3-Coder 30B-A3B. Število plasti, glav in dimenzij: datoteke config.json modelov na Hugging Face (zrcalo Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), preverjeno 11. 10. 2026. Vsote za navzkrižno preverjanje so moj izračun.

Ena posebnost pri enotah: stran z meritvami GPUwerka in stran o Llama 3.3 70B delita 273 GB/s s 37 in dobita zgornjo mejo 7,4 tok/s, pri čemer zabeleženih 37 GiB obravnavata kot 37 GB. Po pretvorbi (37 GiB je 39,7 GB) je zgornja meja 6,9 tok/s, in to vrednost uporablja kalkulator. Glede na 6,9 je izmerjenih 6,0 tok/s približno 87 % zgornje meje, nekoliko nad razponom 50 do 80 %.

Zakaj je enotni pomnilnik drugačen

Diskretni GPU ima lasten VRAM in model bodisi gre vanj bodisi se prelije čez počasno povezavo PCIe. DGX Spark ima en sam pomnilnik s 128 GB LPDDR5x, ki si ga delita CPU in GPU. Dnevniki GPUwerka kažejo, da je od tega naslovljivih približno 121,6 GiB, kar mora poleg vaših uteži in predpomnilnika KV pokriti še operacijski sistem, Docker, predpomnilnik strani in vse druge procese.

Opombe ob izdaji DGX Spark družbe NVIDIA (preverjeno 11. 10. 2026) v izdaji julija 2026 navajajo pomnilnik, rezerviran za zaslon, kot nastavljiv: privzeto 2 GB, prek BIOS-a 4 GB. Če uporabljate zaslon, preverite, kaj vaš sistem poroča z free -h, preden model dimenzionirate do zadnjega gigabajta. GPUwerk od utrditve pomnilnika 9. septembra 2026 svoje Sparke poganja tudi brez izmenjalnega prostora (swap), zato je pomanjkanje pomnilnika napaka out-of-memory, ne upočasnitev.

Ta skupni pomnilnik je tudi razlog, da hitrost omejuje pasovna širina in ne zmogljivost: 273 GB/s napaja vsak token, zato gost model s 70B na token prebere približno 37 GiB, model mixture-of-experts s 3B aktivnimi parametri pa manj kot 2 GB. Celoten seznam strojne opreme je na strani s specifikacijami.

Za samostojno grafično kartico ali Mac FitLocally izvede enako preverjanje ustreznosti za približno 110 odprtih modelov na grafičnih karticah, Macih in mini računalnikih. To je ločena stran, ki jo objavljam.

Modeli, ki ne gredo na en Spark

Kalkulator vključuje dva primera, ki ne uspeta. Oba se opirata na zbirne strani, ne na kartice modelov ali prvoosebne podatke GPUwerk, zato velikosti vzemite kot okvirne.

ModelUporabljena velikostVir (zbiralnik)Zakaj ne uspe
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametrov)llmrun.devPribližno 2,5-kratnik 121,6 GiB enega Sparka (130,6 GB) in več, kot ga skupaj zmoreta dva Sparka (približno 261 GB)
Kimi K3, 4-bitnopribližno 1.570 GB (2,8T parametrov x 0,56)slash-digital.io12-kratna zmogljivost enega Sparka

Preverjeno 11. 10. 2026. Velikost 4-bitnega Kimi je moj izračun, ne objavljena kvantizacija.

Dva Sparka in različica s 64 GB

Dva povezana Sparka vam dasta dve zalogi po 121,6 GiB, ne 256 GB za en model. Kalkulator uteži in KV razdeli enakomerno ter preveri vsako vozlišče, kar je optimistično, saj so resnične delitve redko popolnoma enakomerne. Za nastavitev glejte vodnik za gručo z dvema vozliščema. Če želite model pred nakupom preizkusiti na pravi strojni opremi, stran o najemu pojasni najem po minutah.

Stran izdelka NVIDIA navaja različico s 64 GB, ki se prodaja prek partnerjev OEM (glejte stran s specifikacijami), poročilo The Register z dne 2. oktobra 2026 pa pokriva objavo, vključno z nespremenjeno pasovno širino 273 GB/s (preverjeno 11. 10. 2026). GPUwerk take naprave še ni poganjal, zato je vrednost 60,8 GiB v kalkulatorju zgolj polovica od 121,6. Pri tej velikosti bi 4-bitni primer 70B (37 GiB) pustil približno 24 GiB pred dodatnimi stroški in KV. Vodnik 64 GB vs. 128 GB preveri, kateri aktualni modeli gredo na vsako.

Pogosta vprašanja

Koliko pomnilnika potrebuje model s 70B parametri?

Uteži so parametri krat bajti na parameter: približno 140 GB pri FP16, 70 GB pri FP8 in 37 GB pri 4 bitih, kot pojasnjuje stran o modelih. Na DGX Sparku s približno 121,6 GiB naslovljivega pomnilnika FP16 ne gre v pomnilnik, FP8 (70 GB) gre, a je tik pod mejo 75 GB, kjer postane model za enega uporabnika, pri 4 bitih pa ostane približno 84 GiB pred predpomnilnikom KV. Llama 3.3 70B pri FP16 doda 327.680 bajtov predpomnilnika KV na token, zato je 8.192 tokenov za eno zaporedje približno 2,7 GB.

Ali gre gpt-oss-120b na DGX Spark?

Da. Uteži MXFP4 v OpenAIjevem repozitoriju na Hugging Face skupaj znašajo 65,2 GB (60,8 GiB), kar od 121,6 GiB naslovljivega pomnilnika pusti približno 61 GiB za predpomnilnik KV in režijo. GPUwerk porabe pomnilnika ali hitrosti tega modela ni izmeril. Približno 60 tok/s, ki se zanj pogosto navaja pri llama.cpp, je poročilo tretje osebe (tg32 na praznem kontekstu, pri 32.768 tokenih konteksta pade na približno 40 tok/s), ne meritev GPUwerka.

Kaj je enotni pomnilnik pri modelih LLM?

DGX Spark ima en sam 128-gigabajtni pomnilnik LPDDR5x, ki ga uporabljata tako CPU kot GPU, zato ločenega VRAM ni. Uteži, predpomnilnik KV, operacijski sistem, Docker in predpomnilnik strani črpajo iz iste zaloge, model, ki je "prevelik za VRAM", pa je preprosto prevelik za to, kar od te zaloge ostane. Pomeni tudi, da hitrost dekodiranja določa 273 GB/s pasovne širine, ne zmogljivost.

Ali dva Sparka pomenita 256 GB za en model?

Ne. Dva povezana Sparka sta dva ločena pomnilnika po 121,6 GiB, povezana z omrežno povezavo, ne en sam pomnilnik s 256 GB. Model je treba razdeliti med njiju, na primer s tenzorskim ali cevovodno vzporednostjo, in vsako vozlišče še vedno potrebuje svoj delež uteži, predpomnilnika KV in dodatnih stroškov. Ta stran preverja prileganje po vozliščih in ne trdi ničesar o hitrosti dveh vozlišč; edini par, ki ga je izmeril GPUwerk, Qwen3-32B s tenzorskim paralelizmom, je na strani z meritvami. Vodnik za gručo dveh vozlišč opisuje nastavitev.

Kako natančen je ta kalkulator?

Gre za oceno, ne za natančno vrednost. Ne zajema medpomnilnikov pogona, grafov CUDA, metapodatkov kvantizacije onkraj povprečja bajtov na parameter in dodeljevanja, značilnega za posamezen pogon, kot je vnaprej določena zaloga KV v vLLM. Pri Llama 3.3 70B AWQ se ocena in dnevniki meritev GPUwerk ujemajo v okviru približno 3 GiB, merodajni pa so dnevniki. Preden se zavežete konfiguraciji, preizkusite resnično obremenitev.

Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja

Oceno preverite na pravem Sparku.

Najemite namenski DGX Spark v Evropi, Severni Ameriki ali Vzhodni Aziji za 0,79 USD/h z obračunom po minutah in naložite model, ki ste ga pravkar dimenzionirali.

Ustvarite račun Oglejte si cene