Elfér egy DGX Sparkon? LLM-memóriakalkulátor
Egy 70B-s modell 4 biten körülbelül 37 GiB súlyt igényel, így a DGX Spark 121,6 GiB címezhető egységes memóriájából körülbelül 84 GiB marad a KV-gyorsítótárnak és a többletterhelésnek; FP16-ban (körülbelül 140 GB) ugyanez a modell nem fér el. A gpt-oss-120b is elfér: MXFP4 súlyai összesen 65,2 GB-ot (60,8 GiB) tesznek ki, így körülbelül 61 GiB marad. Adja meg alább a saját modelljét; a képletek és korlátaik a kalkulátor után következnek. Én üzemeltetem a GPUwerket, amely DGX Sparkokat ad bérbe, ezt tartsa szem előtt a megfogalmazás mérlegelésekor.
Két kidolgozott válasz
| Modell | Súlyok | Maradék a 121,6 GiB-ból | Értékelés |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4 bites | körülbelül 37 GiB (GPUwerk-napló) | körülbelül 84 GiB, egy felhasználó 8192 tokennyi KV-ja után körülbelül 82 GiB | Elfér. A memória elég egy csapatnak; a sebesség nem (a GPUwerk egy felhasználóval 6,0 tok/s-ot mért) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), Hugging Face-tároló | körülbelül 61 GiB a KV és a többletterhelés előtt | Elfér. A 40 és 75 GB-os vonal között, így néhány felhasználó elfér, ha a KV-gyorsítótár kicsi marad |
A 37 GiB-os Llama-súlyok, a 6,0 tok/s és a 121,6 GiB-os érték a GPUwerk vLLM-dokumentációjából, Llama 3.3 70B oldalából és benchmarkoldalából származik. A gpt-oss-120b mérete a Hugging Face-en lévő openai/gpt-oss-120b MXFP4 safetensors fájljainak összege, ellenőrizve 2026-10-11-én; a llama.cpp az MXFP4 GGUF-ot 59,02 GiB-nak jelenti a #16578-as vitában. A GPUwerk nem mérte a gpt-oss-120b memóriaigényét. A kivonás és a KV-méret az én számításom.
Az elférés csak a fele: egy könnyedén elférő sűrű 70B egy kérésre is csak körülbelül 6 tokent generál másodpercenként, mert minden token az összes súlyát beolvassa. A Mely nagy modellek futnak elég gyorsan egy Sparkon oldal mért és jelentett sebességekkel hasonlítja össze a sűrű és a mixture-of-experts modelleket.
Kalkulátor
Minden a böngészőjében fut, semmit sem tárolunk és nem küldünk el. Válasszon előbeállítást, vagy írja be a saját számait. Az eredmények az űrlap alatt jelennek meg, és gépelés közben frissülnek.
A 4 GiB-os alapértelmezett többletterhelés az én feltételezésem, a modelloldal aktivációkra és CUDA-kontextusra vonatkozó „néhány gigabájt” megállapítása alapján. A 64 GB-os opció a GPUwerk által megfigyelt 121,6 GiB felét veszi; a GPUwerk ezt a változatot nem futtatta. A kétcsomópontos mód a súlyok és a KV egyenletes megosztását feltételezi.
Hogyan működik a becslés
Három képlet, mind egyszerű számtan:
- Súlyok (GB) = összes paraméter milliárdban x bájt paraméterenként. Egy 70B-s modell FP16-ban körülbelül 140 GB, FP8-ban 70 GB, 4 biten 37 GB, ugyanazok az értékek, mint a modelloldalon.
- KV-gyorsítótár (bájt) = 2 x rétegek x KV-fejek x fejdimenzió x bájt értékenként x tokenek x szekvenciák. A 2 fejenként egy kulcsot és egy értéket jelent.
- Dekódolási plafon (tok/s) = 273 GB/s osztva a tokenenként beolvasott aktív paraméterek súlyának GB-jával. Ez számtani plafon, nem várható sebesség. A GPUwerk benchmarkoldala szerint a valódi motorok ennek nagyjából 50–80%-át érik el, és megmutatja, hol végeztek a GPUwerk saját futtatásai.
A paraméterenkénti bájtok átlagok, nem pontos értékek. Az FP16 2, az FP8 1. A 4 bites formátumok (INT4, AWQ, NVFP4, MXFP4) a skálázók beszámításával 0,5 és 0,56 közé esnek, és ez az oldal alapértelmezésben 0,56-tal számol. Egy 2 bites GGUF körülbelül 0,3. A dinamikus GGUF-kvantálások vegyes bitszélességet használnak, így a közzétett fájlméretek minden képletnél pontosabbak.
Az értékelés a modelloldal ökölszabályát követi. Csomópontonként körülbelül 40 GB súly alatt marad hely egy csapat kiszolgálására, körülbelül 75 GB felett egyfelhasználós modellről van szó, a negatív tartalék pedig azt jelenti, hogy nem fér el. A kettő közötti 40–75 GB-os sáv az én értelmezésem erről a szabályról: elfér, de a KV-gyorsítótár dönti el, hány felhasználó fér el. 22 aktuális modell KV-gyorsítótár-méretei, mindegyik config.json alapján számolva, a KV-gyorsítótár mérete modellenként cikkben találhatók.
A képlet ellenőrzése a GPUwerk naplóival
A GPUwerk vLLM-futtatásai naplózták, hány KV-token fér el 0,85-ös GPU-memória-kihasználtságnál. A naplók a mérvadók; a képletnek csak a közelükbe kell esnie.
| Modell | KV tokenenként | Naplózott KV-tokenek 0,85-nél | KV-méret képlet szerint | Keresztellenőrzés |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327 680 bájt (80 réteg, 8 KV-fej, 128 dimenzió, FP16) | 207 120 | 63,2 GiB | 37 GiB súly + 63,2 GiB KV = 100,2 GiB, szemben a 0,85 x 121,6 = 103,4 GiB-os kerettel. A maradék 3,2 GiB a motor többletterhelése. |
| Qwen3-Coder 30B-A3B AWQ | 98 304 bájt (48 réteg, 4 KV-fej, 128 dimenzió, FP16) | 924 912 | 84,7 GiB | A 103,4 GiB-os keretből 18,7 GiB marad a súlyoknak és a többletterhelésnek. A paraméterszám x 0,56 körülbelül 16 GiB súlyt ad, ami egybevág ezzel. |
KV-tokenek és a 37 GiB-os adat: a GPUwerk Llama 3.3 70B és Qwen3-Coder 30B-A3B oldalai és naplói. Rétegek, fejek és dimenziók száma: a modellek config.json fájljai a Hugging Face-en (Llama 3.3 70B tükör, Qwen3-Coder, gpt-oss-120b), ellenőrizve 2026-10-11-én. A keresztellenőrző összegek az én számításaim.
Egy mértékegységbeli apróság: a GPUwerk benchmarkoldala és Llama 3.3 70B oldala a 273 GB/s-ot 37-tel osztja, így 7,4 tok/s-os plafont kap, a naplózott 37 GiB-ot 37 GB-nak véve. Átszámolva (37 GiB 39,7 GB) a plafon 6,9 tok/s, és a kalkulátor ezt az értéket használja. A 6,9-hez képest a mért 6,0 tok/s a plafon körülbelül 87%-a, valamivel az 50–80%-os sáv felett.
Miben más az egységes memória
Egy különálló GPU-nak saját VRAM-ja van, és a modell vagy elfér benne, vagy átcsordul egy lassú PCIe-kapcsolaton. A DGX Sparknak egyetlen 128 GB-os LPDDR5x készlete van, amelyen a CPU és a GPU osztozik. A GPUwerk naplói szerint ebből körülbelül 121,6 GiB címezhető, és ennek kell lefednie az operációs rendszert, a Dockert, a lapgyorsítótárat és minden más folyamatot, a súlyokon és a KV-gyorsítótáron felül.
Az NVIDIA DGX Spark kiadási megjegyzései (ellenőrizve 2026-10-11-én) szerint a 2026. júliusi kiadásban a kijelzőnek fenntartott memória állítható: alapértelmezés szerint 2 GB, BIOS-ban 4 GB. Ha kijelzőt használ, mielőtt az utolsó gigabájtig méretezné a modellt, nézze meg, mit jelez a saját rendszere a free -h paranccsal. A GPUwerk 2026. szeptember 9-i memóriaszigorítása óta swap nélkül futtatja Sparkjait, így a memória elfogyása memóriahiba, nem lassulás.
A közös készlet az oka annak is, hogy a sebességet a sávszélesség, nem a kapacitás korlátozza: a 273 GB/s táplál minden tokent, így egy sűrű 70B-s modell tokenenként körülbelül 37 GiB-ot olvas be, míg egy 3B aktív paraméteres mixture-of-experts modell 2 GB-nál kevesebbet. A teljes hardverlistát lásd a specifikációs oldalon.
Különálló GPU-hoz vagy Machez a FitLocally ugyanilyen illeszkedési ellenőrzést végez mintegy 110 nyílt modellre videokártyákon, Maceken és mini PC-ken. Ez egy külön oldal, amelyet én adok ki.
Egy Sparkra nem férő modellek
A kalkulátor két nem elférő példát is tartalmaz. Mindkettő aggregátoroldalakon alapul, nem modellkártyákon vagy a GPUwerk saját adatain, ezért a méreteket tájékoztató jellegűnek tekintse.
| Modell | Használt méret | Forrás (aggregátor) | Miért nem működik |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B paraméter) | llmrun.dev | Körülbelül egy Spark 121,6 GiB-jának (130,6 GB) 2,5-szerese, és több, mint amennyit két Spark együtt elbír (körülbelül 261 GB) |
| Kimi K3, 4 bites | körülbelül 1570 GB (2,8T paraméter x 0,56) | slash-digital.io | Egy Spark kapacitásának 12-szerese |
Ellenőrizve 2026-10-11-én. A 4 bites Kimi-méret az én szorzásom, nem közzétett kvantálás.
Két Spark és a 64 GB-os változat
Két összekapcsolt Spark két 121,6 GiB-os készletet ad, nem 256 GB-ot egyetlen modellnek. A kalkulátor egyenlően osztja el a súlyokat és a KV-t, és csomópontonként ellenőriz, ami optimista, mert a valódi felosztás ritkán tökéletesen egyenletes. A beállításhoz lásd a kétcsomópontos klaszter útmutatóját. Ha vásárlás előtt valódi hardveren szeretne kipróbálni egy modellt, a bérlési oldal elmagyarázza a percalapú bérlést.
Az NVIDIA termékoldala egy OEM-partnereken keresztül forgalmazott 64 GB-os változatot is feltüntet (lásd a specifikációs oldalt), és a The Register 2026. október 2-i cikke beszámol a bejelentésről, beleértve a változatlan 273 GB/s sávszélességet is (ellenőrizve 2026-10-11-én). A GPUwerk nem futtatott ilyet, így a kalkulátor 60,8 GiB-os értéke a 121,6 fele, semmi több. Ekkora méretnél a 4 bites 70B-s példa (37 GiB) körülbelül 24 GiB-ot hagyna a többletterhelés és a KV előtt. A 64 GB vs. 128 GB útmutató végigveszi, mely aktuális modellek férnek el az egyiken és a másikon.
GYIK
Mennyi memória kell egy 70B-s modellhez?
A súlyok a paraméterszám és a paraméterenkénti bájtok szorzata: FP16-ban körülbelül 140 GB, FP8-ban 70 GB, 4 biten 37 GB, ahogy a modelloldal leírja. Egy körülbelül 121,6 GiB címezhető memóriájú DGX Sparkon az FP16 nem fér el, az FP8 (70 GB) elfér, de épp a 75 GB-os határ alatt van, ahol egyfelhasználós modellé válik, a 4 bit pedig körülbelül 84 GiB-ot hagy a KV-gyorsítótár előtt. A Llama 3.3 70B FP16-ban tokenenként 327 680 bájt KV-gyorsítótárat ad hozzá, így egy szekvencia 8192 tokenje körülbelül 2,7 GB.
Elfér a gpt-oss-120b egy DGX Sparkon?
Igen. Az OpenAI Hugging Face-tárolójában lévő MXFP4 súlyok összesen 65,2 GB-ot (60,8 GiB) tesznek ki, így a 121,6 GiB címezhető memóriából körülbelül 61 GiB marad a KV-gyorsítótárnak és a többletterhelésnek. A GPUwerk nem mérte ennek a modellnek a memóriaigényét vagy sebességét. A llama.cpp alatt gyakran idézett nagyjából 60 tok/s harmadik féltől származó jelentés (tg32 üres kontextuson, 32 768 tokenes kontextusnál körülbelül 40 tok/s-ra esve), nem a GPUwerk mérése.
Mi az egységes memória az LLM-ek szempontjából?
A DGX Sparknak egyetlen 128 GB-os LPDDR5x készlete van, amelyet a CPU és a GPU egyaránt használ, így nincs külön VRAM. A súlyok, a KV-gyorsítótár, az operációs rendszer, a Docker és a lapgyorsítótár mind ugyanabból a készletből vesznek, és egy „VRAM-hoz túl nagy” modell egyszerűen túl nagy ahhoz, ami ebből a készletből megmarad. Ez azt is jelenti, hogy a dekódolási sebességet a 273 GB/s sávszélesség határozza meg, nem a kapacitás.
Két Spark 256 GB-ot jelent egyetlen modellnek?
Nem. Két összekapcsolt Spark két különálló 121,6 GiB-os készlet, amelyeket hálózati kapcsolat köt össze, nem egy 256 GB-os készlet. A modellt meg kell osztani közöttük, például tenzor- vagy pipeline-párhuzamossággal, és mindkét csomópontnak továbbra is szüksége van a súlyok, a KV-gyorsítótár és a többletterhelés rá eső részére. Ez az oldal csomópontonként ellenőrzi az elférést, és nem tesz kétcsomópontos sebességállítást; a GPUwerk egyetlen mért párja, a Qwen3-32B tenzorpárhuzamossággal, a benchmarkoldalon található. A kétcsomópontos klaszter útmutatója a beállítást ismerteti.
Mennyire pontos ez a kalkulátor?
Ez becslés, nem pontos érték. Kihagyja a motor puffereit, a CUDA-gráfokat, a paraméterenkénti bájtátlagon felüli kvantálási metaadatokat és a motorspecifikus foglalást, például a vLLM előre méretezett KV-készletét. A Llama 3.3 70B AWQ esetén a becslés és a GPUwerk benchmarknaplói körülbelül 3 GiB-on belül egyeznek, és a naplók a mérvadók. Mielőtt egy konfigurációra elkötelezné magát, teszteljen valódi terheléssel.