DGX Spark/Memóriakalkulátor
Kalkulátor

Elfér egy DGX Sparkon? LLM-memóriakalkulátor

Szerző: Samuel Seidel · Közzétéve: 2026. október 11. · 6 perces olvasmány

Egy 70B-s modell 4 biten körülbelül 37 GiB súlyt igényel, így a DGX Spark 121,6 GiB címezhető egységes memóriájából körülbelül 84 GiB marad a KV-gyorsítótárnak és a többletterhelésnek; FP16-ban (körülbelül 140 GB) ugyanez a modell nem fér el. A gpt-oss-120b is elfér: MXFP4 súlyai összesen 65,2 GB-ot (60,8 GiB) tesznek ki, így körülbelül 61 GiB marad. Adja meg alább a saját modelljét; a képletek és korlátaik a kalkulátor után következnek. Én üzemeltetem a GPUwerket, amely DGX Sparkokat ad bérbe, ezt tartsa szem előtt a megfogalmazás mérlegelésekor.

Két kidolgozott válasz

ModellSúlyokMaradék a 121,6 GiB-bólÉrtékelés
Llama 3.3 70B, AWQ 4 biteskörülbelül 37 GiB (GPUwerk-napló)körülbelül 84 GiB, egy felhasználó 8192 tokennyi KV-ja után körülbelül 82 GiBElfér. A memória elég egy csapatnak; a sebesség nem (a GPUwerk egy felhasználóval 6,0 tok/s-ot mért)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), Hugging Face-tárolókörülbelül 61 GiB a KV és a többletterhelés előttElfér. A 40 és 75 GB-os vonal között, így néhány felhasználó elfér, ha a KV-gyorsítótár kicsi marad

A 37 GiB-os Llama-súlyok, a 6,0 tok/s és a 121,6 GiB-os érték a GPUwerk vLLM-dokumentációjából, Llama 3.3 70B oldalából és benchmarkoldalából származik. A gpt-oss-120b mérete a Hugging Face-en lévő openai/gpt-oss-120b MXFP4 safetensors fájljainak összege, ellenőrizve 2026-10-11-én; a llama.cpp az MXFP4 GGUF-ot 59,02 GiB-nak jelenti a #16578-as vitában. A GPUwerk nem mérte a gpt-oss-120b memóriaigényét. A kivonás és a KV-méret az én számításom.

Az elférés csak a fele: egy könnyedén elférő sűrű 70B egy kérésre is csak körülbelül 6 tokent generál másodpercenként, mert minden token az összes súlyát beolvassa. A Mely nagy modellek futnak elég gyorsan egy Sparkon oldal mért és jelentett sebességekkel hasonlítja össze a sűrű és a mixture-of-experts modelleket.

Kalkulátor

Minden a böngészőjében fut, semmit sem tárolunk és nem küldünk el. Válasszon előbeállítást, vagy írja be a saját számait. Az eredmények az űrlap alatt jelennek meg, és gépelés közben frissülnek.

Modell

Adja meg saját adatait.

KV-gyorsítótár
Gép
Adjon meg fent egy modellt a becsléshez. JavaScript nélkül használja az alábbi képleteket vagy a fenti két kidolgozott választ.

A 4 GiB-os alapértelmezett többletterhelés az én feltételezésem, a modelloldal aktivációkra és CUDA-kontextusra vonatkozó „néhány gigabájt” megállapítása alapján. A 64 GB-os opció a GPUwerk által megfigyelt 121,6 GiB felét veszi; a GPUwerk ezt a változatot nem futtatta. A kétcsomópontos mód a súlyok és a KV egyenletes megosztását feltételezi.

Hogyan működik a becslés

Három képlet, mind egyszerű számtan:

A paraméterenkénti bájtok átlagok, nem pontos értékek. Az FP16 2, az FP8 1. A 4 bites formátumok (INT4, AWQ, NVFP4, MXFP4) a skálázók beszámításával 0,5 és 0,56 közé esnek, és ez az oldal alapértelmezésben 0,56-tal számol. Egy 2 bites GGUF körülbelül 0,3. A dinamikus GGUF-kvantálások vegyes bitszélességet használnak, így a közzétett fájlméretek minden képletnél pontosabbak.

Az értékelés a modelloldal ökölszabályát követi. Csomópontonként körülbelül 40 GB súly alatt marad hely egy csapat kiszolgálására, körülbelül 75 GB felett egyfelhasználós modellről van szó, a negatív tartalék pedig azt jelenti, hogy nem fér el. A kettő közötti 40–75 GB-os sáv az én értelmezésem erről a szabályról: elfér, de a KV-gyorsítótár dönti el, hány felhasználó fér el. 22 aktuális modell KV-gyorsítótár-méretei, mindegyik config.json alapján számolva, a KV-gyorsítótár mérete modellenként cikkben találhatók.

A képlet ellenőrzése a GPUwerk naplóival

A GPUwerk vLLM-futtatásai naplózták, hány KV-token fér el 0,85-ös GPU-memória-kihasználtságnál. A naplók a mérvadók; a képletnek csak a közelükbe kell esnie.

ModellKV tokenenkéntNaplózott KV-tokenek 0,85-nélKV-méret képlet szerintKeresztellenőrzés
Llama 3.3 70B AWQ327 680 bájt (80 réteg, 8 KV-fej, 128 dimenzió, FP16)207 12063,2 GiB37 GiB súly + 63,2 GiB KV = 100,2 GiB, szemben a 0,85 x 121,6 = 103,4 GiB-os kerettel. A maradék 3,2 GiB a motor többletterhelése.
Qwen3-Coder 30B-A3B AWQ98 304 bájt (48 réteg, 4 KV-fej, 128 dimenzió, FP16)924 91284,7 GiBA 103,4 GiB-os keretből 18,7 GiB marad a súlyoknak és a többletterhelésnek. A paraméterszám x 0,56 körülbelül 16 GiB súlyt ad, ami egybevág ezzel.

KV-tokenek és a 37 GiB-os adat: a GPUwerk Llama 3.3 70B és Qwen3-Coder 30B-A3B oldalai és naplói. Rétegek, fejek és dimenziók száma: a modellek config.json fájljai a Hugging Face-en (Llama 3.3 70B tükör, Qwen3-Coder, gpt-oss-120b), ellenőrizve 2026-10-11-én. A keresztellenőrző összegek az én számításaim.

Egy mértékegységbeli apróság: a GPUwerk benchmarkoldala és Llama 3.3 70B oldala a 273 GB/s-ot 37-tel osztja, így 7,4 tok/s-os plafont kap, a naplózott 37 GiB-ot 37 GB-nak véve. Átszámolva (37 GiB 39,7 GB) a plafon 6,9 tok/s, és a kalkulátor ezt az értéket használja. A 6,9-hez képest a mért 6,0 tok/s a plafon körülbelül 87%-a, valamivel az 50–80%-os sáv felett.

Miben más az egységes memória

Egy különálló GPU-nak saját VRAM-ja van, és a modell vagy elfér benne, vagy átcsordul egy lassú PCIe-kapcsolaton. A DGX Sparknak egyetlen 128 GB-os LPDDR5x készlete van, amelyen a CPU és a GPU osztozik. A GPUwerk naplói szerint ebből körülbelül 121,6 GiB címezhető, és ennek kell lefednie az operációs rendszert, a Dockert, a lapgyorsítótárat és minden más folyamatot, a súlyokon és a KV-gyorsítótáron felül.

Az NVIDIA DGX Spark kiadási megjegyzései (ellenőrizve 2026-10-11-én) szerint a 2026. júliusi kiadásban a kijelzőnek fenntartott memória állítható: alapértelmezés szerint 2 GB, BIOS-ban 4 GB. Ha kijelzőt használ, mielőtt az utolsó gigabájtig méretezné a modellt, nézze meg, mit jelez a saját rendszere a free -h paranccsal. A GPUwerk 2026. szeptember 9-i memóriaszigorítása óta swap nélkül futtatja Sparkjait, így a memória elfogyása memóriahiba, nem lassulás.

A közös készlet az oka annak is, hogy a sebességet a sávszélesség, nem a kapacitás korlátozza: a 273 GB/s táplál minden tokent, így egy sűrű 70B-s modell tokenenként körülbelül 37 GiB-ot olvas be, míg egy 3B aktív paraméteres mixture-of-experts modell 2 GB-nál kevesebbet. A teljes hardverlistát lásd a specifikációs oldalon.

Különálló GPU-hoz vagy Machez a FitLocally ugyanilyen illeszkedési ellenőrzést végez mintegy 110 nyílt modellre videokártyákon, Maceken és mini PC-ken. Ez egy külön oldal, amelyet én adok ki.

Egy Sparkra nem férő modellek

A kalkulátor két nem elférő példát is tartalmaz. Mindkettő aggregátoroldalakon alapul, nem modellkártyákon vagy a GPUwerk saját adatain, ezért a méreteket tájékoztató jellegűnek tekintse.

ModellHasznált méretForrás (aggregátor)Miért nem működik
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B paraméter)llmrun.devKörülbelül egy Spark 121,6 GiB-jának (130,6 GB) 2,5-szerese, és több, mint amennyit két Spark együtt elbír (körülbelül 261 GB)
Kimi K3, 4 biteskörülbelül 1570 GB (2,8T paraméter x 0,56)slash-digital.ioEgy Spark kapacitásának 12-szerese

Ellenőrizve 2026-10-11-én. A 4 bites Kimi-méret az én szorzásom, nem közzétett kvantálás.

Két Spark és a 64 GB-os változat

Két összekapcsolt Spark két 121,6 GiB-os készletet ad, nem 256 GB-ot egyetlen modellnek. A kalkulátor egyenlően osztja el a súlyokat és a KV-t, és csomópontonként ellenőriz, ami optimista, mert a valódi felosztás ritkán tökéletesen egyenletes. A beállításhoz lásd a kétcsomópontos klaszter útmutatóját. Ha vásárlás előtt valódi hardveren szeretne kipróbálni egy modellt, a bérlési oldal elmagyarázza a percalapú bérlést.

Az NVIDIA termékoldala egy OEM-partnereken keresztül forgalmazott 64 GB-os változatot is feltüntet (lásd a specifikációs oldalt), és a The Register 2026. október 2-i cikke beszámol a bejelentésről, beleértve a változatlan 273 GB/s sávszélességet is (ellenőrizve 2026-10-11-én). A GPUwerk nem futtatott ilyet, így a kalkulátor 60,8 GiB-os értéke a 121,6 fele, semmi több. Ekkora méretnél a 4 bites 70B-s példa (37 GiB) körülbelül 24 GiB-ot hagyna a többletterhelés és a KV előtt. A 64 GB vs. 128 GB útmutató végigveszi, mely aktuális modellek férnek el az egyiken és a másikon.

GYIK

Mennyi memória kell egy 70B-s modellhez?

A súlyok a paraméterszám és a paraméterenkénti bájtok szorzata: FP16-ban körülbelül 140 GB, FP8-ban 70 GB, 4 biten 37 GB, ahogy a modelloldal leírja. Egy körülbelül 121,6 GiB címezhető memóriájú DGX Sparkon az FP16 nem fér el, az FP8 (70 GB) elfér, de épp a 75 GB-os határ alatt van, ahol egyfelhasználós modellé válik, a 4 bit pedig körülbelül 84 GiB-ot hagy a KV-gyorsítótár előtt. A Llama 3.3 70B FP16-ban tokenenként 327 680 bájt KV-gyorsítótárat ad hozzá, így egy szekvencia 8192 tokenje körülbelül 2,7 GB.

Elfér a gpt-oss-120b egy DGX Sparkon?

Igen. Az OpenAI Hugging Face-tárolójában lévő MXFP4 súlyok összesen 65,2 GB-ot (60,8 GiB) tesznek ki, így a 121,6 GiB címezhető memóriából körülbelül 61 GiB marad a KV-gyorsítótárnak és a többletterhelésnek. A GPUwerk nem mérte ennek a modellnek a memóriaigényét vagy sebességét. A llama.cpp alatt gyakran idézett nagyjából 60 tok/s harmadik féltől származó jelentés (tg32 üres kontextuson, 32 768 tokenes kontextusnál körülbelül 40 tok/s-ra esve), nem a GPUwerk mérése.

Mi az egységes memória az LLM-ek szempontjából?

A DGX Sparknak egyetlen 128 GB-os LPDDR5x készlete van, amelyet a CPU és a GPU egyaránt használ, így nincs külön VRAM. A súlyok, a KV-gyorsítótár, az operációs rendszer, a Docker és a lapgyorsítótár mind ugyanabból a készletből vesznek, és egy „VRAM-hoz túl nagy” modell egyszerűen túl nagy ahhoz, ami ebből a készletből megmarad. Ez azt is jelenti, hogy a dekódolási sebességet a 273 GB/s sávszélesség határozza meg, nem a kapacitás.

Két Spark 256 GB-ot jelent egyetlen modellnek?

Nem. Két összekapcsolt Spark két különálló 121,6 GiB-os készlet, amelyeket hálózati kapcsolat köt össze, nem egy 256 GB-os készlet. A modellt meg kell osztani közöttük, például tenzor- vagy pipeline-párhuzamossággal, és mindkét csomópontnak továbbra is szüksége van a súlyok, a KV-gyorsítótár és a többletterhelés rá eső részére. Ez az oldal csomópontonként ellenőrzi az elférést, és nem tesz kétcsomópontos sebességállítást; a GPUwerk egyetlen mért párja, a Qwen3-32B tenzorpárhuzamossággal, a benchmarkoldalon található. A kétcsomópontos klaszter útmutatója a beállítást ismerteti.

Mennyire pontos ez a kalkulátor?

Ez becslés, nem pontos érték. Kihagyja a motor puffereit, a CUDA-gráfokat, a paraméterenkénti bájtátlagon felüli kvantálási metaadatokat és a motorspecifikus foglalást, például a vLLM előre méretezett KV-készletét. A Llama 3.3 70B AWQ esetén a becslés és a GPUwerk benchmarknaplói körülbelül 3 GiB-on belül egyeznek, és a naplók a mérvadók. Mielőtt egy konfigurációra elkötelezné magát, teszteljen valódi terheléssel.

Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet

Ellenőrizze a becslést egy valódi Sparkon.

Béreljen dedikált DGX Sparkot Európában, Észak-Amerikában vagy Kelet-Ázsiában 0,79 USD/óráért, percalapú számlázással, és töltse be a modellt, amelyet most méretezett.

Fiók létrehozása Árak megtekintése