DGX Spark/Atmiņas kalkulators
Kalkulators

Vai ietilps DGX Spark? LLM atmiņas kalkulators

Autors: Samuel Seidel · Publicēts 2026. gada 11. oktobrī · 6 min lasīšanai

70B modelim ar 4 bitiem vajag aptuveni 37 GiB svariem, kas no DGX Spark 121,6 GiB adresējamās vienotās atmiņas atstāj aptuveni 84 GiB KV kešatmiņai un papildu atmiņasm; ar FP16 (aptuveni 140 GB) tas pats modelis neietilpst. Ietilpst arī gpt-oss-120b: tā MXFP4 svari kopā aizņem 65,2 GB (60,8 GiB), atstājot aptuveni 61 GiB. Ievadiet savu modeli zemāk; formulas un to ierobežojumi ir aprakstīti pēc kalkulatora. Es vadu GPUwerk, kas iznomā DGX Spark, tāpēc vērtējiet šo skatījumu, to paturot prātā.

Divas izrēķinātas atbildes

ModelisSvariAtlikums no 121,6 GiBSecinājums
Llama 3.3 70B, AWQ 4 bituaptuveni 37 GiB (GPUwerk žurnāls)aptuveni 84 GiB, aptuveni 82 GiB pēc 8192 tokenu KV vienam lietotājamIetilpst. Atmiņa atstāj vietu komandai; ātrums ne (GPUwerk izmērīja 6,0 tok/s vienam lietotājam)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), Hugging Face repozitorijsaptuveni 61 GiB pirms KV un papildu atmiņasIetilpst. Starp 40 un 75 GB līnijām, tāpēc daži lietotāji ietilpst, ja KV kešatmiņa paliek maza

37 GiB Llama svari, 6,0 tok/s un 121,6 GiB skaitlis ņemti no GPUwerk vLLM dokumentācijas, Llama 3.3 70B lapas un etalontestu lapas. gpt-oss-120b izmērs ir MXFP4 safetensors failu summa repozitorijā openai/gpt-oss-120b Hugging Face, pārbaudīts 2026-10-11; llama.cpp diskusijā #16578 ziņo, ka MXFP4 GGUF ir 59,02 GiB. GPUwerk nav mērījis gpt-oss-120b atmiņas patēriņu. Atņemšana un KV izmērs ir mana aritmētika.

Ietilpšana ir tikai puse no stāsta: blīvs 70B, kas viegli ietilpst, vienam pieprasījumam joprojām ģenerē aptuveni 6 tokenus sekundē, jo katrs tokens nolasa visus tā svarus. Kuri lielie modeļi vienā Spark darbojas pietiekami ātri salīdzina blīvos un ekspertu maisījuma modeļus ar izmērītiem un ziņotiem ātrumiem.

Kalkulators

Viss darbojas jūsu pārlūkā, un nekas netiek saglabāts vai nosūtīts. Izvēlieties sagatavi vai ievadiet savus skaitļus. Rezultāti parādās zem veidlapas un atjaunojas, kamēr rakstāt.

Modelis

Ievadiet savus skaitļus.

KV kešatmiņa
Iekārta
Ievadiet modeli augstāk, lai redzētu aprēķinu. Bez JavaScript izmantojiet zemāk esošās formulas vai divas iepriekš izrēķinātās atbildes.

4 GiB papildu atmiņas noklusējums ir mans pieņēmums, balstoties uz modeļu lapā minētajiem "dažiem gigabaitiem" aktivācijām un CUDA kontekstam. 64 GB iespēja uz pusi samazina GPUwerk novēroto 121,6 GiB; GPUwerk šo variantu nav darbinājis. Divu mezglu režīms pieņem, ka svari un KV tiek sadalīti vienādi.

Kā darbojas novērtējums

Trīs formulas, visas vienkārša aritmētika:

Baiti uz parametru ir vidējās vērtības, nevis precīzas. FP16 ir 2, un FP8 ir 1. 4 bitu formāti (INT4, AWQ, NVFP4, MXFP4), ieskaitot mērogus, ir no 0,5 līdz 0,56, un šī lapa pēc noklusējuma izmanto 0,56. 2 bitu GGUF ir aptuveni 0,3. Dinamiskās GGUF kvantēšanas jauc bitu platumus, tāpēc publicētie failu izmēri ir precīzāki par jebkuru formulu.

Secinājums seko modeļu lapas aptuvenajam noteikumam. Mazāk par aptuveni 40 GB svaru uz mezglu atstāj vietu komandas apkalpošanai, vairāk par aptuveni 75 GB ir viena lietotāja modelis, un negatīva rezerve nozīmē, ka tas neietilpst. 40 līdz 75 GB diapazons starp tiem ir mana šī likuma interpretācija: tas ietilpst, bet KV kešatmiņa nosaka, cik lietotāju ietilpst. KV kešatmiņas izmēri 22 aktuāliem modeļiem, aprēķināti no katra config.json, ir rakstā KV kešatmiņas izmērs pēc modeļa.

Formulas pārbaude pēc GPUwerk žurnāliem

GPUwerk vLLM mērījumos tika reģistrēts, cik KV tokenu ietilpst pie 0,85 GPU atmiņas noslodzes. Žurnāli ir patiesības avots; formulai tikai jānonāk tiem tuvu.

ModelisKV uz tokenuReģistrētie KV tokeni pie 0,85KV izmērs pēc formulasSavstarpēja pārbaude
Llama 3.3 70B AWQ327 680 baiti (80 slāņi, 8 KV galviņas, 128 dim, FP16)207 12063,2 GiB37 GiB svari + 63,2 GiB KV = 100,2 GiB, salīdzinājumā ar 0,85 x 121,6 = 103,4 GiB budžetu. Atlikušie 3,2 GiB aizņem dzinēja papildu atmiņa.
Qwen3-Coder 30B-A3B AWQ98 304 baiti (48 slāņi, 4 KV galviņas, 128 dim, FP16)924 91284,7 GiBNo 103,4 GiB budžeta svariem un papildu atmiņasm atliek 18,7 GiB. Parametri x 0,56 dod aptuveni 16 GiB svaru, kas saskan.

KV tokeni un 37 GiB skaitlis: GPUwerk Llama 3.3 70B un Qwen3-Coder 30B-A3B lapas un žurnāli. Slāņu, galviņu un dimensiju skaits: modeļu config.json faili Hugging Face (Llama 3.3 70B spogulis, Qwen3-Coder, gpt-oss-120b), pārbaudīti 2026-10-11. Savstarpējās pārbaudes summas ir mana aritmētika.

Viena mērvienību nianse: GPUwerk etalontestu lapā un Llama 3.3 70B lapā 273 GB/s tiek dalīts ar 37, lai iegūtu 7,4 tok/s maksimumu, uzskatot reģistrētos 37 GiB par 37 GB. Pārrēķinot (37 GiB ir 39,7 GB), maksimums ir 6,9 tok/s, un kalkulators izmanto šo skaitli. Salīdzinot ar 6,9, izmērītie 6,0 tok/s ir aptuveni 87% no maksimuma, nedaudz virs 50 līdz 80% diapazona.

Kāpēc vienotā atmiņa ir citāda

Diskrētajam GPU ir sava VRAM, un modelis tajā vai nu ietilpst, vai pārplūst pa lēnu PCIe savienojumu. DGX Spark ir viens 128 GB LPDDR5x apjoms, ko koplieto CPU un GPU. GPUwerk žurnāli rāda, ka no tā adresējami aptuveni 121,6 GiB, un tiem jānosedz operētājsistēma, Docker, lapu kešatmiņa un jebkuri citi procesi, kā arī jūsu svari un KV kešatmiņa.

NVIDIA DGX Spark laidiena piezīmēs (pārbaudīts 2026-10-11) 2026. gada jūlija laidienā displejam rezervētā atmiņa norādīta kā regulējama: 2 GB pēc noklusējuma, 4 GB caur BIOS. Ja izmantojat displeju, pirms modeļa izmēra plānošanas līdz pēdējam gigabaitam pārbaudiet, ko jūsu sistēma rāda ar free -h. GPUwerk arī darbina savus Spark bez mijmaiņas (swap) kopš atmiņas nostiprināšanas 2026. gada 9. septembrī, tāpēc atmiņas izbeigšanās ir atmiņas trūkuma kļūda, nevis palēnināšanās.

Kopīgais apjoms ir arī iemesls, kāpēc ātrumu ierobežo joslas platums, nevis ietilpība: 273 GB/s apkalpo katru tokenu, tāpēc blīvs 70B modelis katram tokenam nolasa aptuveni 37 GiB, bet ekspertu maisījuma modelis ar 3B aktīvajiem parametriem — mazāk par 2 GB. Pilns aparatūras saraksts ir specifikāciju lapā.

Diskrētam GPU vai Mac FitLocally veic tādu pašu piemērotības pārbaudi aptuveni 110 atvērtajiem modeļiem videokartēm, Mac datoriem un mini PC. Tā ir atsevišķa vietne, ko publicēju es.

Modeļi, kas neietilpst vienā Spark

Kalkulatorā ir divi piemēri, kas neietilpst. Abi balstās uz apkopotāju lapām, nevis modeļu kartītēm vai GPUwerk pašu skaitļiem, tāpēc uzskatiet izmērus par orientējošiem.

ModelisIzmantotais izmērsAvots (apkopotājs)Kāpēc tas neizdodas
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametri)llmrun.devAptuveni 2,5 reizes vairāk nekā viena Spark 121,6 GiB (130,6 GB) un vairāk, nekā ietilpst divos Spark kopā (aptuveni 261 GB)
Kimi K3, 4 bituaptuveni 1570 GB (2,8T parametri x 0,56)slash-digital.io12 reizes vairāk jaudas nekā viens Spark

Pārbaudīts 2026-10-11. 4 bitu Kimi izmērs ir mans reizinājums, nevis publicēta kvantēšana.

Divi Spark un 64 GB variants

Divi savienoti Spark dod divus 121,6 GiB apjomus, nevis 256 GB vienam modelim. Kalkulators sadala svarus un KV vienādi un pārbauda katru mezglu, kas ir optimistiski, jo reālas sadales reti ir pilnīgi vienādas. Iestatīšanu skatiet divu mezglu klastera ceļvedī. Lai izmēģinātu modeli reālā aparatūrā pirms pirkšanas, nomas lapa izskaidro nomu ar minūtes maksu.

NVIDIA produkta lapā norādīts 64 GB variants, ko pārdod ar OEM partneru starpniecību (skatiet specifikāciju lapu), un The Register 2026. gada 2. oktobra ziņojums apraksta paziņojumu, ieskaitot nemainīto 273 GB/s joslas platumu (pārbaudīts 2026-10-11). GPUwerk to nav darbinājis, tāpēc kalkulatora 60,8 GiB skaitlis ir vienkārši puse no 121,6. Pie šāda izmēra 4 bitu 70B piemērs (37 GiB) atstātu aptuveni 24 GiB pirms papildu atmiņas un KV. 64 GB vs. 128 GB ceļvedis izanalizē, kuri aktuālie modeļi ietilpst katrā.

BUJ

Cik daudz atmiņas vajag 70B modelim?

Svari ir parametri reiz baiti uz parametru: aptuveni 140 GB ar FP16, 70 GB ar FP8 un 37 GB ar 4 bitiem, kā izklāstīts modeļu lapā. DGX Spark ar aptuveni 121,6 GiB adresējamās atmiņas FP16 neietilpst, FP8 (70 GB) ietilpst, bet atrodas tieši zem 75 GB līnijas, kur tas kļūst par viena lietotāja modeli, un 4 biti atstāj aptuveni 84 GiB pirms KV kešatmiņas. Llama 3.3 70B ar FP16 pievieno 327 680 baitus KV kešatmiņas uz tokenu, tāpēc 8192 tokeni vienai secībai ir aptuveni 2,7 GB.

Vai gpt-oss-120b ietilpst DGX Spark?

Jā. MXFP4 svari OpenAI Hugging Face repozitorijā kopā aizņem 65,2 GB (60,8 GiB), kas no 121,6 GiB adresējamās atmiņas atstāj aptuveni 61 GiB KV kešatmiņai un papildu atmiņasm. GPUwerk nav mērījis šī modeļa atmiņas patēriņu vai ātrumu. Bieži citētie aptuveni 60 tok/s ar llama.cpp ir trešās puses ziņojums (tg32 ar tukšu kontekstu, kas samazinās līdz aptuveni 40 tok/s pie 32 768 tokenu konteksta), nevis GPUwerk mērījums.

Kas ir vienotā atmiņa LLM?

DGX Spark ir viens 128 GB LPDDR5x apjoms, ko izmanto gan CPU, gan GPU, tāpēc atsevišķas VRAM nav. Svari, KV kešatmiņa, operētājsistēma, Docker un lapu kešatmiņa ņem no tā paša apjoma, un modelis, kas ir "par lielu VRAM", ir vienkārši par lielu tam, kas no šī apjoma paliek pāri. Tas arī nozīmē, ka dekodēšanas ātrumu nosaka 273 GB/s joslas platums, nevis ietilpība.

Vai divi Spark nozīmē 256 GB vienam modelim?

Nē. Divi savienoti Spark ir divi atsevišķi 121,6 GiB apjomi, kas savienoti ar tīkla saiti, nevis viens 256 GB apjoms. Modelis jāsadala starp tiem, piemēram, ar tenzoru vai konveijera paralēlismu, un katram mezglam joprojām vajag savu svaru, KV kešatmiņas un papildu atmiņas daļu. Šī lapa pārbauda ietilpību katram mezglam un neizvirza apgalvojumus par divu mezglu ātrumu; GPUwerk vienīgais izmērītais pāris, Qwen3-32B ar tenzoru paralēlismu, ir etalontestu lapā. Divu mezglu klastera ceļvedis apraksta iestatīšanu.

Cik precīzs ir šis kalkulators?

Tas ir novērtējums, nevis precīzs skaitlis. Tajā nav ņemti vērā dzinēja buferi, CUDA grafi, kvantēšanas metadati ārpus vidējā baitu skaita uz parametru un dzinējam specifiska piešķiršana, piemēram, vLLM iepriekš noteiktā izmēra KV kopa. Llama 3.3 70B AWQ gadījumā novērtējums un GPUwerk etalontestu žurnāli sakrīt aptuveni 3 GiB robežās, un žurnāli ir patiesības avots. Pirms izvēlaties konfigurāciju, pārbaudiet reālu slodzi.

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā

Pārbaudiet aprēķinu īstā Spark.

Nomājiet atsevišķu DGX Spark Eiropā, Ziemeļamerikā vai Austrumāzijā par 0,79 $/h ar maksu par katru minūti un ielādējiet modeli, kura izmēru tikko aprēķinājāt.

Izveidot kontu Skatīt cenas