DGX Spark/Kalkulatur tal-memorja
Kalkulatur

Joqgħod fuq DGX Spark? Kalkulatur tal-memorja tal-LLMs

Minn Samuel Seidel · Ippubblikat 11 ta' Ottubru 2026 · 6 min qari

Mudell 70B f'4-bit jeħtieġ madwar 37 GiB ta' piżijiet, li jħallu madwar 84 GiB mill-121.6 GiB ta' memorja unifikata indirizzabbli ta' DGX Spark għall-KV cache u l-overhead; f'FP16 (madwar 140 GB) l-istess mudell ma joqgħodx. gpt-oss-120b joqgħod ukoll: il-piżijiet MXFP4 tiegħu jlaħħqu 65.2 GB (60.8 GiB), u jħallu madwar 61 GiB. Daħħal il-mudell tiegħek hawn taħt; il-formuli u l-limiti tagħhom jiġu wara l-kalkulatur. Jien inmexxi GPUwerk, li tikri DGX Sparks, għalhekk żomm dan f'moħħok meta taqra.

Żewġ tweġibiet maħduma

MudellPiżijietJifdal minn 121.6 GiBVerdett
Llama 3.3 70B, AWQ 4-bitmadwar 37 GiB (reġistru ta' GPUwerk)madwar 84 GiB, madwar 82 GiB wara 8,192 token ta' KV għal utent wieħedJoqgħod. Il-memorja tħalli lok għal tim; il-veloċità le (GPUwerk kejlet 6.0 tok/s b'utent wieħed)
gpt-oss-120b, MXFP465.2 GB (60.8 GiB), repo ta' Hugging Facemadwar 61 GiB qabel il-KV u l-overheadJoqgħod. Bejn il-linji ta' 40 u 75 GB, għalhekk joqogħdu ftit utenti jekk il-KV cache jibqa' żgħir

Il-piżijiet ta' Llama ta' 37 GiB, is-6.0 tok/s u ċ-ċifra ta' 121.6 GiB ġejjin mid-dokument dwar vLLM, mill-paġna ta' Llama 3.3 70B u mill-paġna tal-benchmarks ta' GPUwerk. Id-daqs ta' gpt-oss-120b huwa t-total tal-fajls safetensors MXFP4 f'openai/gpt-oss-120b fuq Hugging Face, iċċekkjat fil-11 ta' Ottubru 2026; llama.cpp jirrapporta l-GGUF MXFP4 bħala 59.02 GiB fid-diskussjoni #16578. GPUwerk ma kejlitx il-memorja li juża gpt-oss-120b. It-tnaqqis u d-daqs tal-KV huma l-kalkoli tiegħi.

Li joqgħod huwa nofs il-ħaġa biss: 70B dens li joqgħod faċilment xorta jiġġenera madwar 6 tokens fis-sekonda għal talba waħda, għax kull token jaqra l-piżijiet kollha tiegħu. Liema mudelli kbar jaħdmu malajr biżżejjed fuq Spark wieħed iqabbel mudelli densi u mixture-of-experts b'veloċitajiet imkejla u rrappurtati.

Kalkulatur

Kollox jaħdem fil-browser tiegħek u xejn ma jinħażen jew jintbagħat. Agħżel preset jew ikteb iċ-ċifri tiegħek. Ir-riżultati jidhru taħt il-formola u jiġġeddu waqt li tikteb.

Mudell

Daħħal iċ-ċifri tiegħek stess.

KV cache
Magna
Daħħal mudell hawn fuq biex tara l-istima. Mingħajr JavaScript, uża l-formuli hawn taħt jew iż-żewġ tweġibiet maħduma hawn fuq.

L-overhead awtomatiku ta' 4 GiB huwa l-preżunzjoni tiegħi, ibbażata fuq il-"ftit gigabytes" tal-paġna tal-mudelli għall-attivazzjonijiet u l-kuntest CUDA. L-għażla ta' 64 GB taqsam bin-nofs il-121.6 GiB osservati minn GPUwerk; GPUwerk ma ħaddmitx dik il-varjanti. Il-modalità b'żewġ nodi tassumi li l-piżijiet u l-KV jinqasmu bl-indaqs.

Kif taħdem l-istima

Tliet formuli, kollha aritmetika sempliċi:

Il-bytes għal kull parametru huma medji, mhux eżatti. FP16 huwa 2 u FP8 huwa 1. Il-formati 4-bit (INT4, AWQ, NVFP4, MXFP4) jaqgħu bejn 0.5 u 0.56 ladarba jingħaddu l-iscales, u din il-paġna tuża 0.56 awtomatikament. GGUF 2-bit huwa madwar 0.3. Il-quants GGUF dinamiċi jħalltu l-wisgħat tal-bits, għalhekk id-daqsijiet tal-fajls ippubblikati jgħoddu aktar minn kull formula.

Il-verdett isegwi r-regola prattika tal-paġna tal-mudelli. Taħt madwar 40 GB ta' piżijiet għal kull nodu jħallu lok biex taqdi tim, aktar minn madwar 75 GB huwa mudell għal utent wieħed, u lok negattiv ifisser li ma joqgħodx. Il-faxxa ta' 40 sa 75 GB bejniethom hija l-qari tiegħi ta' dik ir-regola: joqgħod, imma l-KV cache jiddeċiedi kemm-il utent joqogħdu. Id-daqsijiet tal-KV cache għal 22 mudell attwali, maħduma minn kull config.json, jinsabu f'daqs tal-KV cache skont il-mudell.

Il-verifika tal-formula mar-reġistri ta' GPUwerk

Il-provi ta' vLLM ta' GPUwerk irreġistraw kemm-il token KV joqogħdu b'utilizzazzjoni tal-memorja tal-GPU ta' 0.85. Ir-reġistri huma l-verità; il-formula trid biss toqrob lejhom.

MudellKV għal kull tokenTokens KV irreġistrati b'0.85Daqs tal-KV skont il-formulaVerifika inkroċjata
Llama 3.3 70B AWQ327,680 bytes (80 saff, 8 KV heads, 128 dim, FP16)207,12063.2 GiB37 GiB weights + 63.2 GiB KV = 100.2 GiB, kontra baġit ta' 0.85 x 121.6 = 103.4 GiB. Il-3.2 GiB li jifdal huma overhead tal-engine.
Qwen3-Coder 30B-A3B AWQ98,304 bytes (48 saff, 4 KV heads, 128 dim, FP16)924,91284.7 GiBIħalli 18.7 GiB mill-baġit ta' 103.4 GiB għall-piżijiet u l-overhead. Il-parametri x 0.56 jagħtu madwar 16 GiB ta' piżijiet, li huwa konsistenti.

Tokens KV u ċ-ċifra ta' 37 GiB: il-paġni u r-reġistri ta' GPUwerk għal Llama 3.3 70B u Qwen3-Coder 30B-A3B. L-għadd tas-saffi, tal-heads u tad-dimensjonijiet: il-fajls config.json tal-mudelli fuq Hugging Face (mera ta' Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), iċċekkjati fil-11 ta' Ottubru 2026. It-totali tal-verifika inkroċjata huma l-kalkoli tiegħi.

Tinqala' kwistjoni waħda ta' unitajiet: il-paġna tal-benchmarks u l-paġna ta' Llama 3.3 70B ta' GPUwerk jaqsmu 273 GB/s b'37 biex jiksbu limitu ta' 7.4 tok/s, u jittrattaw is-37 GiB irreġistrati bħala 37 GB. Maqluba (37 GiB huma 39.7 GB), il-limitu huwa 6.9 tok/s, u l-kalkulatur juża dik iċ-ċifra. Kontra 6.9, is-6.0 tok/s imkejla huma madwar 87% tal-limitu, ftit aktar mill-faxxa ta' 50 sa 80%.

Għaliex il-memorja unifikata hija differenti

GPU diskret għandu l-VRAM tiegħu stess, u l-mudell jew joqgħod hemm jew jinfirex fuq link PCIe bil-mod. Id-DGX Spark għandu pool wieħed ta' 128 GB LPDDR5x maqsum bejn is-CPU u l-GPU. Ir-reġistri ta' GPUwerk juru madwar 121.6 GiB minnha indirizzabbli, u dik trid tkopri s-sistema operattiva, Docker, il-page cache u kull proċess ieħor kif ukoll il-piżijiet u l-KV cache tiegħek.

In-noti tar-release tad-DGX Spark ta' NVIDIA (iċċekkjati fil-11 ta' Ottubru 2026) jelenkaw il-memorja riżervata għad-display bħala aġġustabbli fir-release ta' Lulju 2026: 2 GB awtomatikament, 4 GB mill-BIOS. Jekk tħaddem display, iċċekkja x'tirrapporta s-sistema tiegħek stess b'free -h qabel ma tkejjel mudell sal-aħħar gigabyte. GPUwerk tħaddem ukoll is-Sparks tagħha mingħajr swap minn meta saħħet il-memorja fid-9 ta' Settembru 2026, għalhekk jekk tispiċċa l-memorja tikseb żball ta' out-of-memory, mhux tnaqqis fil-veloċità.

Il-pool huwa wkoll ir-raġuni għaliex il-bandwidth, u mhux il-kapaċità, jillimita l-veloċità: 273 GB/s jitimgħu kull token, għalhekk mudell 70B dens jaqra madwar 37 GiB kull token waqt li mudell mixture-of-experts b'3B attivi jaqra inqas minn 2 GB. Ara l-paġna tal-ispeċifikazzjonijiet għal-lista sħiħa tal-hardware.

Għal GPU diskreta jew Mac, FitLocally tagħmel l-istess tip ta' kontroll tal-kompatibbiltà għal madwar 110 mudelli miftuħa fuq karti grafiċi, Macs u mini PCs. Huwa sit separat li nippubblika jien.

Mudelli li ma joqogħdux fuq Spark wieħed

Il-kalkulatur jinkludi żewġ eżempji li jfallu. It-tnejn jistrieħu fuq paġni ta' aggregaturi, mhux fuq model cards jew ċifri ta' GPUwerk stess, għalhekk qis id-daqsijiet bħala indikattivi.

MudellDaqs użatSors (aggregatur)Għaliex ifalli
DeepSeek V4.1-Flash, Q2_K324 GB (763.2B parametru)llmrun.devMadwar 2.5 darbiet il-121.6 GiB (130.6 GB) ta' Spark wieħed, u aktar milli jesgħu żewġ Sparks flimkien (madwar 261 GB)
Kimi K3, 4-bitmadwar 1,570 GB (2.8T parametru x 0.56)slash-digital.io12-il darba l-kapaċità ta' Spark wieħed

Iċċekkjat fil-11 ta' Ottubru 2026. Id-daqs ta' Kimi f'4-bit huwa l-multiplikazzjoni tiegħi, mhux quant ippubblikat.

Żewġ Sparks, u l-varjanti ta' 64 GB

Żewġ Sparks marbuta jagħtuk żewġ ġabriet ta' 121.6 GiB, mhux 256 GB għal mudell wieħed. Il-kalkulatur jaqsam il-piżijiet u l-KV bl-indaqs u jiċċekkja kull nodu, ħaġa ottimista għax il-qsim reali rari jkun perfettament indaqs. Għas-setup, ara l-gwida tal-cluster b'żewġ nodi. Biex tipprova mudell fuq hardware reali qabel ma tixtri, il-paġna dwar kif tikri tispjega l-kera bil-minuta.

Il-paġna tal-prodott ta' NVIDIA telenka varjanti ta' 64 GB mibjugħa permezz ta' sħab OEM (ara l-paġna tal-ispeċifikazzjonijiet), u r-rapport ta' The Register tat-2 ta' Ottubru 2026 ikopri l-avviż, inkluż il-bandwidth ta' 273 GB/s li ma nbidlitx (iċċekkjat fil-11 ta' Ottubru 2026). GPUwerk ma ħaddmitx waħda, għalhekk iċ-ċifra ta' 60.8 GiB tal-kalkulatur hija nofs 121.6 u xejn aktar. B'dak id-daqs, l-eżempju tal-70B f'4-bit (37 GiB) kien iħalli madwar 24 GiB qabel l-overhead u l-KV. Il-gwida 64 GB vs 128 GB tgħaddi minn liema mudelli attwali joqogħdu fuq kull wieħed.

Mistoqsijiet frekwenti

Kemm memorja jeħtieġ mudell 70B?

Il-piżijiet huma l-parametri mmultiplikati bil-bytes għal kull parametru: madwar 140 GB f'FP16, 70 GB f'FP8 u 37 GB f'4-bit, kif tispjega l-paġna tal-mudelli. Fuq DGX Spark b'madwar 121.6 GiB indirizzabbli, FP16 ma joqgħodx, FP8 (70 GB) joqgħod imma jibqa' eżatt taħt il-linja ta' 75 GB fejn isir mudell għal utent wieħed, u 4-bit iħalli madwar 84 GiB qabel il-KV cache. Llama 3.3 70B iżid 327,680 byte ta' KV cache għal kull token f'FP16, għalhekk 8,192 token għal sekwenza waħda huma madwar 2.7 GB.

gpt-oss-120b joqgħod fuq DGX Spark?

Iva. Il-piżijiet MXFP4 fir-repository ta' OpenAI fuq Hugging Face jammontaw għal 65.2 GB (60.8 GiB), li jħalli madwar 61 GiB mill-121.6 GiB ta' memorja indirizzabbli għall-KV cache u l-overhead. GPUwerk ma kejlitx il-footprint jew il-veloċità ta' dan il-mudell. Il-madwar 60 tok/s li spiss jissemmew għalih taħt llama.cpp huma rapport ta' parti terza (tg32 fuq kuntest vojt, li jinżlu għal madwar 40 tok/s b'32,768 token ta' kuntest), mhux kejl ta' GPUwerk.

X'inhi l-memorja unifikata għall-LLMs?

Id-DGX Spark għandu pool wieħed ta' 128 GB ta' LPDDR5x li jużaw kemm is-CPU kif ukoll il-GPU, għalhekk ma hemmx VRAM separata. Il-piżijiet, il-KV cache, is-sistema operattiva, Docker u l-page cache kollha jieħdu mill-istess pool, u mudell li huwa 'kbir wisq għall-VRAM' huwa sempliċement kbir wisq għal dak li jifdal minn dik il-ġabra. Ifisser ukoll li huma 273 GB/s ta' bandwidth, mhux il-kapaċità, li jiddeterminaw il-veloċità tad-decode.

Żewġ Sparks ifissru 256 GB għal mudell wieħed?

Le. Żewġ Sparks marbuta huma żewġ pools separati ta' 121.6 GiB magħquda b'link tan-netwerk, mhux pool wieħed ta' 256 GB. Mudell irid jinqasam bejniethom, pereżempju b'tensor jew pipeline parallelism, u kull nodu xorta jeħtieġ is-sehem tiegħu tal-piżijiet, tal-KV cache u tal-overhead. Din il-paġna tiċċekkja jekk joqgħodx f'kull nodu u ma tagħmel ebda dikjarazzjoni dwar il-veloċità b'żewġ nodi; l-uniku par imkejjel ta' GPUwerk, Qwen3-32B b'tensor parallelism, jinsab fuq il-paġna tal-benchmarks. Il-gwida tal-cluster b'żewġ nodi tkopri s-setup.

Kemm hu eżatt dan il-kalkulatur?

Hija stima, mhux ċifra eżatta. Tħalli barra l-buffers tal-engine, is-CUDA graphs, il-metadata tal-kwantizzazzjoni lil hinn mill-medja ta' bytes għal kull parametru, u l-allokazzjoni speċifika għall-engine bħall-pool KV ta' daqs fiss ta' vLLM. Għal Llama 3.3 70B AWQ l-istima u r-reġistri tal-benchmarks ta' GPUwerk jaqblu f'madwar 3 GiB, u r-reġistri huma l-verità. Ittestja tagħbija reali qabel ma timpenja ruħek għal konfigurazzjoni.

L-ewwel top-up: ħallas $20, ikseb $30 kreditu

Iċċekkja l-istima fuq Spark reali.

Ikri DGX Spark dedikat fl-Ewropa, fl-Amerika ta' Fuq jew fl-Asja tal-Lvant għal $0.79/h, iffatturat bil-minuta, u għabbi l-mudell li għadek kemm kejjilt.

Oħloq kont Ara l-prezzijiet