Joqgħod fuq DGX Spark? Kalkulatur tal-memorja tal-LLMs
Mudell 70B f'4-bit jeħtieġ madwar 37 GiB ta' piżijiet, li jħallu madwar 84 GiB mill-121.6 GiB ta' memorja unifikata indirizzabbli ta' DGX Spark għall-KV cache u l-overhead; f'FP16 (madwar 140 GB) l-istess mudell ma joqgħodx. gpt-oss-120b joqgħod ukoll: il-piżijiet MXFP4 tiegħu jlaħħqu 65.2 GB (60.8 GiB), u jħallu madwar 61 GiB. Daħħal il-mudell tiegħek hawn taħt; il-formuli u l-limiti tagħhom jiġu wara l-kalkulatur. Jien inmexxi GPUwerk, li tikri DGX Sparks, għalhekk żomm dan f'moħħok meta taqra.
Żewġ tweġibiet maħduma
| Mudell | Piżijiet | Jifdal minn 121.6 GiB | Verdett |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-bit | madwar 37 GiB (reġistru ta' GPUwerk) | madwar 84 GiB, madwar 82 GiB wara 8,192 token ta' KV għal utent wieħed | Joqgħod. Il-memorja tħalli lok għal tim; il-veloċità le (GPUwerk kejlet 6.0 tok/s b'utent wieħed) |
| gpt-oss-120b, MXFP4 | 65.2 GB (60.8 GiB), repo ta' Hugging Face | madwar 61 GiB qabel il-KV u l-overhead | Joqgħod. Bejn il-linji ta' 40 u 75 GB, għalhekk joqogħdu ftit utenti jekk il-KV cache jibqa' żgħir |
Il-piżijiet ta' Llama ta' 37 GiB, is-6.0 tok/s u ċ-ċifra ta' 121.6 GiB ġejjin mid-dokument dwar vLLM, mill-paġna ta' Llama 3.3 70B u mill-paġna tal-benchmarks ta' GPUwerk. Id-daqs ta' gpt-oss-120b huwa t-total tal-fajls safetensors MXFP4 f'openai/gpt-oss-120b fuq Hugging Face, iċċekkjat fil-11 ta' Ottubru 2026; llama.cpp jirrapporta l-GGUF MXFP4 bħala 59.02 GiB fid-diskussjoni #16578. GPUwerk ma kejlitx il-memorja li juża gpt-oss-120b. It-tnaqqis u d-daqs tal-KV huma l-kalkoli tiegħi.
Li joqgħod huwa nofs il-ħaġa biss: 70B dens li joqgħod faċilment xorta jiġġenera madwar 6 tokens fis-sekonda għal talba waħda, għax kull token jaqra l-piżijiet kollha tiegħu. Liema mudelli kbar jaħdmu malajr biżżejjed fuq Spark wieħed iqabbel mudelli densi u mixture-of-experts b'veloċitajiet imkejla u rrappurtati.
Kalkulatur
Kollox jaħdem fil-browser tiegħek u xejn ma jinħażen jew jintbagħat. Agħżel preset jew ikteb iċ-ċifri tiegħek. Ir-riżultati jidhru taħt il-formola u jiġġeddu waqt li tikteb.
L-overhead awtomatiku ta' 4 GiB huwa l-preżunzjoni tiegħi, ibbażata fuq il-"ftit gigabytes" tal-paġna tal-mudelli għall-attivazzjonijiet u l-kuntest CUDA. L-għażla ta' 64 GB taqsam bin-nofs il-121.6 GiB osservati minn GPUwerk; GPUwerk ma ħaddmitx dik il-varjanti. Il-modalità b'żewġ nodi tassumi li l-piżijiet u l-KV jinqasmu bl-indaqs.
Kif taħdem l-istima
Tliet formuli, kollha aritmetika sempliċi:
- Piżijiet (GB) = parametri totali f'biljuni x bytes għal kull parametru. Mudell 70B huwa madwar 140 GB f'FP16, 70 GB f'FP8 u 37 GB f'4-bit, l-istess ċifri bħall-paġna tal-mudelli.
- KV cache (bytes) = 2 x saffi x heads KV x dimensjoni tal-head x bytes għal kull valur x tokens x sekwenzi. It-2 huwa key wieħed u valur wieħed għal kull head.
- Limitu tad-decode (tok/s) = 273 GB/s diviż bil-GB ta' piżijiet ta' parametri attivi li jinqraw kull token. Dan huwa limitu aritmetiku, mhux il-veloċità mistennija. Il-paġna tal-benchmarks ta' GPUwerk tqiegħed l-engines reali bejn madwar 50 u 80% tiegħu u turi fejn waqgħu l-provi ta' GPUwerk stess.
Il-bytes għal kull parametru huma medji, mhux eżatti. FP16 huwa 2 u FP8 huwa 1. Il-formati 4-bit (INT4, AWQ, NVFP4, MXFP4) jaqgħu bejn 0.5 u 0.56 ladarba jingħaddu l-iscales, u din il-paġna tuża 0.56 awtomatikament. GGUF 2-bit huwa madwar 0.3. Il-quants GGUF dinamiċi jħalltu l-wisgħat tal-bits, għalhekk id-daqsijiet tal-fajls ippubblikati jgħoddu aktar minn kull formula.
Il-verdett isegwi r-regola prattika tal-paġna tal-mudelli. Taħt madwar 40 GB ta' piżijiet għal kull nodu jħallu lok biex taqdi tim, aktar minn madwar 75 GB huwa mudell għal utent wieħed, u lok negattiv ifisser li ma joqgħodx. Il-faxxa ta' 40 sa 75 GB bejniethom hija l-qari tiegħi ta' dik ir-regola: joqgħod, imma l-KV cache jiddeċiedi kemm-il utent joqogħdu. Id-daqsijiet tal-KV cache għal 22 mudell attwali, maħduma minn kull config.json, jinsabu f'daqs tal-KV cache skont il-mudell.
Il-verifika tal-formula mar-reġistri ta' GPUwerk
Il-provi ta' vLLM ta' GPUwerk irreġistraw kemm-il token KV joqogħdu b'utilizzazzjoni tal-memorja tal-GPU ta' 0.85. Ir-reġistri huma l-verità; il-formula trid biss toqrob lejhom.
| Mudell | KV għal kull token | Tokens KV irreġistrati b'0.85 | Daqs tal-KV skont il-formula | Verifika inkroċjata |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327,680 bytes (80 saff, 8 KV heads, 128 dim, FP16) | 207,120 | 63.2 GiB | 37 GiB weights + 63.2 GiB KV = 100.2 GiB, kontra baġit ta' 0.85 x 121.6 = 103.4 GiB. Il-3.2 GiB li jifdal huma overhead tal-engine. |
| Qwen3-Coder 30B-A3B AWQ | 98,304 bytes (48 saff, 4 KV heads, 128 dim, FP16) | 924,912 | 84.7 GiB | Iħalli 18.7 GiB mill-baġit ta' 103.4 GiB għall-piżijiet u l-overhead. Il-parametri x 0.56 jagħtu madwar 16 GiB ta' piżijiet, li huwa konsistenti. |
Tokens KV u ċ-ċifra ta' 37 GiB: il-paġni u r-reġistri ta' GPUwerk għal Llama 3.3 70B u Qwen3-Coder 30B-A3B. L-għadd tas-saffi, tal-heads u tad-dimensjonijiet: il-fajls config.json tal-mudelli fuq Hugging Face (mera ta' Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), iċċekkjati fil-11 ta' Ottubru 2026. It-totali tal-verifika inkroċjata huma l-kalkoli tiegħi.
Tinqala' kwistjoni waħda ta' unitajiet: il-paġna tal-benchmarks u l-paġna ta' Llama 3.3 70B ta' GPUwerk jaqsmu 273 GB/s b'37 biex jiksbu limitu ta' 7.4 tok/s, u jittrattaw is-37 GiB irreġistrati bħala 37 GB. Maqluba (37 GiB huma 39.7 GB), il-limitu huwa 6.9 tok/s, u l-kalkulatur juża dik iċ-ċifra. Kontra 6.9, is-6.0 tok/s imkejla huma madwar 87% tal-limitu, ftit aktar mill-faxxa ta' 50 sa 80%.
Għaliex il-memorja unifikata hija differenti
GPU diskret għandu l-VRAM tiegħu stess, u l-mudell jew joqgħod hemm jew jinfirex fuq link PCIe bil-mod. Id-DGX Spark għandu pool wieħed ta' 128 GB LPDDR5x maqsum bejn is-CPU u l-GPU. Ir-reġistri ta' GPUwerk juru madwar 121.6 GiB minnha indirizzabbli, u dik trid tkopri s-sistema operattiva, Docker, il-page cache u kull proċess ieħor kif ukoll il-piżijiet u l-KV cache tiegħek.
In-noti tar-release tad-DGX Spark ta' NVIDIA (iċċekkjati fil-11 ta' Ottubru 2026) jelenkaw il-memorja riżervata għad-display bħala aġġustabbli fir-release ta' Lulju 2026: 2 GB awtomatikament, 4 GB mill-BIOS. Jekk tħaddem display, iċċekkja x'tirrapporta s-sistema tiegħek stess b'free -h qabel ma tkejjel mudell sal-aħħar gigabyte. GPUwerk tħaddem ukoll is-Sparks tagħha mingħajr swap minn meta saħħet il-memorja fid-9 ta' Settembru 2026, għalhekk jekk tispiċċa l-memorja tikseb żball ta' out-of-memory, mhux tnaqqis fil-veloċità.
Il-pool huwa wkoll ir-raġuni għaliex il-bandwidth, u mhux il-kapaċità, jillimita l-veloċità: 273 GB/s jitimgħu kull token, għalhekk mudell 70B dens jaqra madwar 37 GiB kull token waqt li mudell mixture-of-experts b'3B attivi jaqra inqas minn 2 GB. Ara l-paġna tal-ispeċifikazzjonijiet għal-lista sħiħa tal-hardware.
Għal GPU diskreta jew Mac, FitLocally tagħmel l-istess tip ta' kontroll tal-kompatibbiltà għal madwar 110 mudelli miftuħa fuq karti grafiċi, Macs u mini PCs. Huwa sit separat li nippubblika jien.
Mudelli li ma joqogħdux fuq Spark wieħed
Il-kalkulatur jinkludi żewġ eżempji li jfallu. It-tnejn jistrieħu fuq paġni ta' aggregaturi, mhux fuq model cards jew ċifri ta' GPUwerk stess, għalhekk qis id-daqsijiet bħala indikattivi.
| Mudell | Daqs użat | Sors (aggregatur) | Għaliex ifalli |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763.2B parametru) | llmrun.dev | Madwar 2.5 darbiet il-121.6 GiB (130.6 GB) ta' Spark wieħed, u aktar milli jesgħu żewġ Sparks flimkien (madwar 261 GB) |
| Kimi K3, 4-bit | madwar 1,570 GB (2.8T parametru x 0.56) | slash-digital.io | 12-il darba l-kapaċità ta' Spark wieħed |
Iċċekkjat fil-11 ta' Ottubru 2026. Id-daqs ta' Kimi f'4-bit huwa l-multiplikazzjoni tiegħi, mhux quant ippubblikat.
Żewġ Sparks, u l-varjanti ta' 64 GB
Żewġ Sparks marbuta jagħtuk żewġ ġabriet ta' 121.6 GiB, mhux 256 GB għal mudell wieħed. Il-kalkulatur jaqsam il-piżijiet u l-KV bl-indaqs u jiċċekkja kull nodu, ħaġa ottimista għax il-qsim reali rari jkun perfettament indaqs. Għas-setup, ara l-gwida tal-cluster b'żewġ nodi. Biex tipprova mudell fuq hardware reali qabel ma tixtri, il-paġna dwar kif tikri tispjega l-kera bil-minuta.
Il-paġna tal-prodott ta' NVIDIA telenka varjanti ta' 64 GB mibjugħa permezz ta' sħab OEM (ara l-paġna tal-ispeċifikazzjonijiet), u r-rapport ta' The Register tat-2 ta' Ottubru 2026 ikopri l-avviż, inkluż il-bandwidth ta' 273 GB/s li ma nbidlitx (iċċekkjat fil-11 ta' Ottubru 2026). GPUwerk ma ħaddmitx waħda, għalhekk iċ-ċifra ta' 60.8 GiB tal-kalkulatur hija nofs 121.6 u xejn aktar. B'dak id-daqs, l-eżempju tal-70B f'4-bit (37 GiB) kien iħalli madwar 24 GiB qabel l-overhead u l-KV. Il-gwida 64 GB vs 128 GB tgħaddi minn liema mudelli attwali joqogħdu fuq kull wieħed.
Mistoqsijiet frekwenti
Kemm memorja jeħtieġ mudell 70B?
Il-piżijiet huma l-parametri mmultiplikati bil-bytes għal kull parametru: madwar 140 GB f'FP16, 70 GB f'FP8 u 37 GB f'4-bit, kif tispjega l-paġna tal-mudelli. Fuq DGX Spark b'madwar 121.6 GiB indirizzabbli, FP16 ma joqgħodx, FP8 (70 GB) joqgħod imma jibqa' eżatt taħt il-linja ta' 75 GB fejn isir mudell għal utent wieħed, u 4-bit iħalli madwar 84 GiB qabel il-KV cache. Llama 3.3 70B iżid 327,680 byte ta' KV cache għal kull token f'FP16, għalhekk 8,192 token għal sekwenza waħda huma madwar 2.7 GB.
gpt-oss-120b joqgħod fuq DGX Spark?
Iva. Il-piżijiet MXFP4 fir-repository ta' OpenAI fuq Hugging Face jammontaw għal 65.2 GB (60.8 GiB), li jħalli madwar 61 GiB mill-121.6 GiB ta' memorja indirizzabbli għall-KV cache u l-overhead. GPUwerk ma kejlitx il-footprint jew il-veloċità ta' dan il-mudell. Il-madwar 60 tok/s li spiss jissemmew għalih taħt llama.cpp huma rapport ta' parti terza (tg32 fuq kuntest vojt, li jinżlu għal madwar 40 tok/s b'32,768 token ta' kuntest), mhux kejl ta' GPUwerk.
X'inhi l-memorja unifikata għall-LLMs?
Id-DGX Spark għandu pool wieħed ta' 128 GB ta' LPDDR5x li jużaw kemm is-CPU kif ukoll il-GPU, għalhekk ma hemmx VRAM separata. Il-piżijiet, il-KV cache, is-sistema operattiva, Docker u l-page cache kollha jieħdu mill-istess pool, u mudell li huwa 'kbir wisq għall-VRAM' huwa sempliċement kbir wisq għal dak li jifdal minn dik il-ġabra. Ifisser ukoll li huma 273 GB/s ta' bandwidth, mhux il-kapaċità, li jiddeterminaw il-veloċità tad-decode.
Żewġ Sparks ifissru 256 GB għal mudell wieħed?
Le. Żewġ Sparks marbuta huma żewġ pools separati ta' 121.6 GiB magħquda b'link tan-netwerk, mhux pool wieħed ta' 256 GB. Mudell irid jinqasam bejniethom, pereżempju b'tensor jew pipeline parallelism, u kull nodu xorta jeħtieġ is-sehem tiegħu tal-piżijiet, tal-KV cache u tal-overhead. Din il-paġna tiċċekkja jekk joqgħodx f'kull nodu u ma tagħmel ebda dikjarazzjoni dwar il-veloċità b'żewġ nodi; l-uniku par imkejjel ta' GPUwerk, Qwen3-32B b'tensor parallelism, jinsab fuq il-paġna tal-benchmarks. Il-gwida tal-cluster b'żewġ nodi tkopri s-setup.
Kemm hu eżatt dan il-kalkulatur?
Hija stima, mhux ċifra eżatta. Tħalli barra l-buffers tal-engine, is-CUDA graphs, il-metadata tal-kwantizzazzjoni lil hinn mill-medja ta' bytes għal kull parametru, u l-allokazzjoni speċifika għall-engine bħall-pool KV ta' daqs fiss ta' vLLM. Għal Llama 3.3 70B AWQ l-istima u r-reġistri tal-benchmarks ta' GPUwerk jaqblu f'madwar 3 GiB, u r-reġistri huma l-verità. Ittestja tagħbija reali qabel ma timpenja ruħek għal konfigurazzjoni.