Ar telpa į DGX Spark? LLM atminties skaičiuoklė
70B modeliui 4 bitų formatu reikia apie 37 GiB svoriams, todėl iš 121,6 GiB adresuojamos DGX Spark bendros atminties KV podėliui ir sąnaudoms lieka apie 84 GiB; FP16 formatu (apie 140 GB) tas pats modelis netelpa. gpt-oss-120b taip pat telpa: jo MXFP4 svoriai iš viso užima 65,2 GB (60,8 GiB), todėl lieka apie 61 GiB. Žemiau įveskite savo modelį; formulės ir jų apribojimai pateikti po skaičiuokle. Aš vadovauju GPUwerk, kuri nuomoja DGX Spark, todėl į tai atsižvelkite.
Du išspręsti atsakymai
| Modelis | Svoriai | Lieka iš 121,6 GiB | Išvada |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4 bitų | apie 37 GiB (GPUwerk žurnalas) | apie 84 GiB, apie 82 GiB po 8 192 tokenų KV vienam naudotojui | Telpa. Atminties pakanka komandai, greičio – ne (GPUwerk išmatavo 6,0 tok/s vienam naudotojui) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), Hugging Face saugykla | apie 61 GiB prieš KV ir sąnaudas | Telpa. Tarp 40 ir 75 GB linijų, todėl keli naudotojai telpa, jei KV podėlis lieka mažas |
37 GiB Llama svoriai, 6,0 tok/s ir 121,6 GiB skaičiai paimti iš GPUwerk vLLM dokumentacijos, Llama 3.3 70B puslapio ir lyginamųjų testų puslapio. gpt-oss-120b dydis – MXFP4 safetensors failų suma openai/gpt-oss-120b Hugging Face, tikrinta 2026-10-11; llama.cpp diskusijoje #16578 nurodo, kad MXFP4 GGUF užima 59,02 GiB. GPUwerk gpt-oss-120b atminties poreikio nematavo. Atimtis ir KV dydis – mano skaičiavimai.
Tilpti – tik pusė reikalo: tankus 70B, kuris lengvai telpa, vis tiek generuoja apie 6 tokenus per sekundę vienai užklausai, nes kiekvienas tokenas nuskaito visus jo svorius. Puslapyje Kurie dideli modeliai pakankamai greitai veikia viename Spark palyginami tankūs ir ekspertų mišinio modeliai su išmatuotais ir praneštais greičiais.
Skaičiuoklė
Viskas veikia jūsų naršyklėje, niekas nesaugoma ir nesiunčiama. Pasirinkite išankstinį nustatymą arba įveskite savo skaičius. Rezultatai rodomi po forma ir atsinaujina rašant.
Numatytosios 4 GiB sąnaudos – mano prielaida, paremta modelių puslapio „keliais gigabaitais“ aktyvacijoms ir CUDA kontekstui. 64 GB parinktis perpus sumažina GPUwerk stebėtus 121,6 GiB; GPUwerk tokio varianto nebandė. Dviejų mazgų režimas daro prielaidą, kad svoriai ir KV padalijami po lygiai.
Kaip veikia įvertis
Trys formulės, visos – paprasta aritmetika:
- Svoriai (GB) = iš viso parametrų milijardais x baitai vienam parametrui. 70B modelis užima apie 140 GB FP16, 70 GB FP8 ir 37 GB 4 bitų formatu – tie patys skaičiai kaip modelių puslapyje.
- KV podėlis (baitais) = 2 x sluoksniai x KV galvutės x galvutės dimensija x baitai vienai vertei x tokenai x sekos. 2 – tai vienas raktas ir viena vertė kiekvienai galvutei.
- Dekodavimo riba (tok/s) = 273 GB/s, padalyta iš aktyvių parametrų svorių GB, nuskaitomų kiekvienam tokenui. Tai aritmetinė riba, ne numatomas greitis. GPUwerk lyginamųjų testų puslapyje nurodoma, kad tikri varikliai pasiekia maždaug 50–80% jos, ir parodoma, kur buvo GPUwerk pačios matavimai.
Baitai vienam parametrui yra vidurkiai, ne tikslios vertės. FP16 – 2, FP8 – 1. 4 bitų formatai (INT4, AWQ, NVFP4, MXFP4), įskaičiavus mastelio koeficientus, yra tarp 0,5 ir 0,56, o šiame puslapyje numatytoji vertė – 0,56. 2 bitų GGUF – apie 0,3. Dinaminiai GGUF kvantai maišo bitų pločius, todėl paskelbti failų dydžiai tikslesni už bet kokią formulę.
Išvada remiasi modelių puslapio nykščio taisykle. Mažiau nei apie 40 GB svorių vienam mazgui palieka vietos aptarnauti komandą, daugiau nei apie 75 GB – vieno naudotojo modelis, o neigiama atsarga reiškia, kad netelpa. 40–75 GB intervalas tarp jų – mano šios taisyklės interpretacija: telpa, bet kiek naudotojų tilps, lemia KV podėlis. 22 dabartinių modelių KV podėlio dydžiai, apskaičiuoti iš kiekvieno config.json, pateikti straipsnyje KV podėlio dydis pagal modelį.
Formulės tikrinimas pagal GPUwerk žurnalus
GPUwerk vLLM paleidimuose užregistruota, kiek KV tokenų telpa esant 0,85 GPU atminties panaudojimui. Žurnalai yra tikrieji duomenys; formulė turi tik priartėti prie jų.
| Modelis | KV vienam tokenui | Užregistruoti KV tokenai esant 0,85 | KV dydis pagal formulę | Kryžminė patikra |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327 680 baitų (80 sluoksnių, 8 KV galvutės, 128 dim, FP16) | 207 120 | 63,2 GiB | 37 GiB svorių + 63,2 GiB KV = 100,2 GiB, palyginti su 0,85 × 121,6 = 103,4 GiB biudžetu. Likę 3,2 GiB – variklio sąnaudos. |
| Qwen3-Coder 30B-A3B AWQ | 98 304 baitai (48 sluoksniai, 4 KV galvutės, 128 dim, FP16) | 924 912 | 84,7 GiB | Iš 103,4 GiB biudžeto svoriams ir sąnaudoms lieka 18,7 GiB. Parametrai x 0,56 duoda apie 16 GiB svorių – tai sutampa. |
KV tokenai ir 37 GiB skaičius: GPUwerk Llama 3.3 70B ir Qwen3-Coder 30B-A3B puslapiai ir žurnalai. Sluoksnių, galvučių ir dimensijų skaičiai: modelių config.json failai Hugging Face (Llama 3.3 70B kopija, Qwen3-Coder, gpt-oss-120b), patikrinta 2026-10-11. Kryžminės patikros sumos – mano skaičiavimai.
Vienas vienetų niuansas: GPUwerk lyginamųjų testų puslapis ir Llama 3.3 70B puslapis 273 GB/s dalija iš 37 ir gauna 7,4 tok/s ribą, užregistruotus 37 GiB laikydami 37 GB. Perskaičiavus (37 GiB yra 39,7 GB), riba yra 6,9 tok/s, ir skaičiuoklė naudoja šį skaičių. Palyginti su 6,9, išmatuoti 6,0 tok/s sudaro apie 87% ribos – šiek tiek virš 50–80% intervalo.
Kuo skiriasi bendra atmintis
Atskira GPU turi savo VRAM, ir modelis arba ten telpa, arba persilieja per lėtą PCIe jungtį. DGX Spark turi vieną 128 GB LPDDR5x telkinį, kuriuo dalijasi CPU ir GPU. GPUwerk žurnalai rodo, kad adresuojama apie 121,6 GiB, ir tai turi apimti operacinę sistemą, Docker, puslapių podėlį ir bet kokį kitą procesą, taip pat jūsų svorius ir KV podėlį.
NVIDIA DGX Spark leidimo pastabose (tikrinta 2026-10-11) nurodyta, kad 2026 m. liepos leidime ekranui rezervuojamą atmintį galima keisti: pagal numatytuosius nustatymus 2 GB, per BIOS – 4 GB. Jei naudojate ekraną, prieš parinkdami modelį iki paskutinio gigabaito patikrinkite, ką rodo jūsų sistema su free -h. Nuo 2026 m. rugsėjo 9 d. atminties sustiprinimo GPUwerk savo Spark naudoja be swap, todėl atminties pritrūkus gaunama atminties trūkumo klaida, o ne sulėtėjimas.
Telkinys taip pat paaiškina, kodėl greitį riboja pralaidumas, o ne talpa: 273 GB/s aptarnauja kiekvieną tokeną, todėl tankus 70B modelis kiekvienam tokenui nuskaito apie 37 GiB, o 3B aktyvių parametrų ekspertų mišinio modelis – mažiau nei 2 GB. Visas įrangos sąrašas pateiktas specifikacijų puslapyje.
Diskretiniam GPU arba Mac FitLocally atlieka tokią pačią tinkamumo patikrą maždaug 110 atvirųjų modelių vaizdo plokštėse, Mac kompiuteriuose ir mini PC. Tai atskira mano leidžiama svetainė.
Modeliai, kurie netelpa į vieno DGX Spark atmintį
Skaičiuoklėje yra du pavyzdžiai, kurie netelpa. Abu paremti agregatorių puslapiais, o ne modelių kortelėmis ar pačios GPUwerk duomenimis, todėl dydžius laikykite orientaciniais.
| Modelis | Naudotas dydis | Šaltinis (agregatorius) | Kodėl tai neveikia |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B parametrų) | llmrun.dev | Apie 2,5 karto daugiau nei vieno Spark 121,6 GiB (130,6 GB) ir daugiau, nei talpina du Spark kartu (apie 261 GB) |
| Kimi K3, 4 bitų | apie 1 570 GB (2,8T parametrų × 0,56) | slash-digital.io | 12 kartų daugiau nei vieno DGX Spark įrenginio pajėgumai |
Patikrinta 2026-10-11. 4 bitų Kimi dydis – mano daugybos rezultatas, ne paskelbtas kvantas.
Du Spark ir 64 GB variantas
Du sujungti Spark suteikia du 121,6 GiB telkinius, o ne 256 GB vienam modeliui. Skaičiuoklė svorius ir KV padalija po lygiai ir tikrina kiekvieną mazgą, o tai optimistiška, nes tikri padalijimai retai būna visiškai lygūs. Dėl sąrankos žr. dviejų mazgų klasterio vadovą. Norėdami prieš pirkdami išbandyti modelį tikroje įrangoje, nuomos puslapyje paaiškinta nuoma minutėmis.
NVIDIA produkto puslapyje nurodytas 64 GB variantas, parduodamas per OEM partnerius (žr. specifikacijų puslapį), o The Register 2026 m. spalio 2 d. straipsnyje aprašytas pranešimas, įskaitant nepakitusį 273 GB/s pralaidumą (tikrinta 2026-10-11). GPUwerk tokio nebandė, todėl skaičiuoklės 60,8 GiB skaičius yra tik pusė 121,6 ir nieko daugiau. Tokio dydžio atveju 4 bitų 70B pavyzdys (37 GiB) paliktų apie 24 GiB prieš sąnaudas ir KV. 64 GB vs. 128 GB vadove išnagrinėta, kurie dabartiniai modeliai telpa kiekviename.
DUK
Kiek atminties reikia 70B modeliui?
Svoriai – tai parametrai, padauginti iš baitų vienam parametrui: apie 140 GB FP16, 70 GB FP8 ir 37 GB 4 bitų formatu, kaip nurodyta modelių puslapyje. DGX Spark su maždaug 121,6 GiB adresuojamos atminties FP16 netelpa, FP8 (70 GB) telpa, bet yra vos žemiau 75 GB ribos, kai tampa vieno naudotojo modeliu, o 4 bitų formatas palieka apie 84 GiB prieš KV podėlį. Llama 3.3 70B FP16 formatu prideda 327 680 baitų KV podėlio kiekvienam tokenui, todėl 8 192 tokenai vienai sekai yra apie 2,7 GB.
Ar gpt-oss-120b telpa į DGX Spark atmintį?
Taip. MXFP4 svoriai OpenAI Hugging Face saugykloje iš viso užima 65,2 GB (60,8 GiB), todėl iš 121,6 GiB adresuojamos atminties KV podėliui ir sąnaudoms lieka apie 61 GiB. GPUwerk šio modelio atminties poreikio ar greičio nematavo. Dažnai minimi maždaug 60 tok/s su llama.cpp yra trečiosios šalies duomenys (tg32 tuščiame kontekste, krentantys iki maždaug 40 tok/s esant 32 768 tokenų kontekstui), o ne GPUwerk matavimas.
Kas yra bendra atmintis LLM?
DGX Spark turi vieną 128 GB LPDDR5x telkinį, kurį naudoja ir CPU, ir GPU, todėl atskiros VRAM nėra. Svoriai, KV podėlis, operacinė sistema, Docker ir puslapių podėlis – visi naudoja tą patį telkinį, o modelis, kuris yra „per didelis VRAM“, tiesiog per didelis tam, kas iš to telkinio lieka. Tai taip pat reiškia, kad dekodavimo greitį lemia 273 GB/s pralaidumas, o ne talpa.
Ar du Spark reiškia 256 GB vienam modeliui?
Ne. Du sujungti Spark yra du atskiri 121,6 GiB telkiniai, sujungti tinklo jungtimi, o ne vienas 256 GB telkinys. Modelį reikia padalyti tarp jų, pavyzdžiui, tenzoriniu ar konvejeriniu lygiagretinimu, o kiekvienam mazgui vis tiek reikia savo dalies svorių, KV podėlio ir sąnaudų. Šis puslapis tikrina tinkamumą kiekvienam mazgui ir neteigia nieko apie dviejų mazgų greitį; vienintelė GPUwerk išmatuota pora – Qwen3-32B su tenzoriniu lygiagretinimu – pateikta lyginamųjų testų puslapyje. Sąranka aprašyta dviejų mazgų klasterio vadove.
Kiek tiksli ši skaičiuoklė?
Tai įvertis, ne tikslus skaičius. Neįskaičiuojami variklio buferiai, CUDA grafai, kvantavimo metaduomenys, viršijantys vidutinį baitų skaičių vienam parametrui, ir variklio specifinis paskirstymas, pavyzdžiui, iš anksto nustatyto dydžio vLLM KV telkinys. Llama 3.3 70B AWQ atveju įvertis ir GPUwerk lyginamųjų testų žurnalai sutampa maždaug 3 GiB tikslumu, o žurnalai yra tikrieji duomenys. Prieš įsipareigodami konfigūracijai, išbandykite tikrą apkrovą.