DGX Spark/Mälukalkulaator
Kalkulaator

Kas see mahub DGX Sparkile? LLM-i mälukalkulaator

Autor: Samuel Seidel · Avaldatud 11. oktoobril 2026 · 6 min lugemist

70B mudel 4-bitisena vajab umbes 37 GiB kaalude jaoks, mis jätab DGX Sparki 121,6 GiB adresseeritavast ühismälust umbes 84 GiB KV-vahemälule ja lisakuludele; FP16 täpsusega (umbes 140 GB) sama mudel ei mahu. Ka gpt-oss-120b mahub: selle MXFP4 kaalud on kokku 65,2 GB (60,8 GiB), mis jätab üle umbes 61 GiB. Sisesta allpool oma mudel; valemid ja nende piirangud on kalkulaatori järel. Mina juhin GPUwerki, mis rendib DGX Sparke, seega arvesta seda raamistust hinnates.

Kaks läbiarvutatud vastust

MudelKaalud121,6 GiB-st järelHinnang
Llama 3.3 70B, AWQ 4-bitineumbes 37 GiB (GPUwerki logi)umbes 84 GiB, umbes 82 GiB pärast 8192 tokeni KV-d ühe kasutaja jaoksMahub. Mälu jätab ruumi meeskonnale, kiirus mitte (GPUwerk mõõtis ühe kasutaja jaoks 6,0 tok/s)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), Hugging Face'i repoumbes 61 GiB enne KV-d ja lisakulusidMahub. 40 ja 75 GB joonte vahel, seega mahub paar kasutajat, kui KV-vahemälu jääb väikeseks

37 GiB Llama kaalud, 6,0 tok/s ja 121,6 GiB näitaja on pärit GPUwerki vLLM-i dokumendist, Llama 3.3 70B lehelt ja võrdlustestide lehelt. gpt-oss-120b suurus on Hugging Face'i repos openai/gpt-oss-120b olevate MXFP4 safetensorsi failide summa, kontrollitud 2026-10-11; llama.cpp teatab MXFP4 GGUF-i suuruseks 59,02 GiB arutelus #16578. GPUwerk pole gpt-oss-120b mälujalajälge mõõtnud. Lahutamine ja KV suurus on minu arvutused.

Mahtumine on vaid pool asjast: tihe 70B, mis mahub kergesti, genereerib ühe päringu jaoks ikkagi umbes 6 tokenit sekundis, sest iga token loeb kõik selle kaalud. Millised suured mudelid töötavad ühel Sparkil piisavalt kiiresti võrdleb tihedaid ja ekspertide segu mudeleid mõõdetud ja teatatud kiirustega.

Kalkulaator

Kõik töötab sinu brauseris ja midagi ei salvestata ega saadeta. Vali eelseadistus või sisesta oma numbrid. Tulemused ilmuvad vormi alla ja uuenevad kirjutamise ajal.

Mudel

Sisesta oma näitajad.

KV-vahemälu
Masin
Hinnangu nägemiseks sisesta ülal mudel. Ilma JavaScriptita kasuta allolevaid valemeid või ülaltoodud kahte läbiarvutatud vastust.

4 GiB lisakulu vaikeväärtus on minu eeldus, mis põhineb mudelite lehe „mõnel gigabaidil“ aktivatsioonide ja CUDA konteksti jaoks. 64 GB valik skaleerib GPUwerki täheldatud 121,6 GiB poole võrra; GPUwerk pole seda varianti käitanud. Kahe sõlme režiim eeldab, et kaalud ja KV jagunevad võrdselt.

Kuidas hinnang toimib

Kolm valemit, kõik lihtne aritmeetika:

Baidid parameetri kohta on keskmised, mitte täpsed. FP16 on 2 ja FP8 on 1. 4-bitised vormingud (INT4, AWQ, NVFP4, MXFP4) jäävad koos skaleerimisteguritega vahemikku 0,5 kuni 0,56 ja see leht kasutab vaikimisi 0,56. 2-bitine GGUF on umbes 0,3. Dünaamilised GGUF-kvandid segavad bitilaiusi, seega on avaldatud failisuurused täpsemad kui ükski valem.

Hinnang järgib mudelite lehe rusikareeglit. Alla umbes 40 GB kaalusid sõlme kohta jätab ruumi meeskonna teenindamiseks, üle umbes 75 GB on ühe kasutaja mudel ja negatiivne varu tähendab, et see ei mahu. Nende vaheline 40 kuni 75 GB vahemik on minu tõlgendus sellest reeglist: see mahub, kuid KV-vahemälu otsustab, mitu kasutajat mahub. 22 praeguse mudeli KV-vahemälu suurused, arvutatud iga config.json-i põhjal, on lehel KV-vahemälu suurus mudeli kaupa.

Valemi kontrollimine GPUwerki logide põhjal

GPUwerki vLLM-i käitused logisid, mitu KV-tokenit mahub 0,85 GPU-mälu kasutusmäära juures. Logid on tõde; valem peab lihtsalt nende lähedale jõudma.

MudelKV tokeni kohtaLogitud KV-tokenid 0,85 juuresKV suurus valemi järgiRistkontroll
Llama 3.3 70B AWQ327 680 baiti (80 kihti, 8 KV-pead, 128 dim, FP16)207 12063,2 GiB37 GiB kaalusid + 63,2 GiB KV = 100,2 GiB, eelarve on 0,85 x 121,6 = 103,4 GiB. Ülejäänud 3,2 GiB on mootori lisakulu.
Qwen3-Coder 30B-A3B AWQ98 304 baiti (48 kihti, 4 KV-pead, 128 dim, FP16)924 91284,7 GiBJätab 103,4 GiB eelarvest 18,7 GiB kaaludele ja lisakuludele. Parameetrid x 0,56 annab umbes 16 GiB kaalusid, mis on kooskõlas.

KV-tokenid ja 37 GiB näitaja: GPUwerki Llama 3.3 70B ja Qwen3-Coder 30B-A3B lehed ja logid. Kihtide, peade ja mõõtmete arvud: mudelite config.json failid Hugging Face'is (Llama 3.3 70B peegel, Qwen3-Coder, gpt-oss-120b), kontrollitud 2026-10-11. Ristkontrolli summad on minu arvutused.

Üks ühikute nüanss: GPUwerki võrdlustestide leht ja Llama 3.3 70B leht jagavad 273 GB/s 37-ga, et saada lagi 7,4 tok/s, käsitledes logitud 37 GiB-d kui 37 GB. Teisendatuna (37 GiB on 39,7 GB) on lagi 6,9 tok/s ja kalkulaator kasutab seda näitajat. 6,9 suhtes on mõõdetud 6,0 tok/s umbes 87% laest, veidi üle 50 kuni 80% vahemiku.

Miks ühismälu on teistsugune

Eraldiseisval GPU-l on oma VRAM ja mudel kas mahub sinna või valgub üle aeglase PCIe ühenduse. DGX Sparkil on üks 128 GB LPDDR5x mälu, mida jagavad protsessor ja GPU. GPUwerki logide järgi on sellest adresseeritav umbes 121,6 GiB ning see peab katma operatsioonisüsteemi, Dockeri, lehevahemälu ja kõik muud protsessid ning lisaks sinu kaalud ja KV-vahemälu.

NVIDIA DGX Sparki väljalaskemärkmed (kontrollitud 2026-10-11) märgivad juuli 2026 väljalaskes ekraani jaoks reserveeritud mälu muudetavaks: vaikimisi 2 GB, BIOS-i kaudu 4 GB. Kui kasutad ekraani, kontrolli enne mudeli viimase gigabaidini mõõtu seadmist käsuga free -h, mida sinu süsteem näitab. GPUwerk käitab oma Sparke ka ilma saalealata alates 9. septembri 2026 mälu karastamisest, seega on mälu otsasaamine mälupuuduse viga, mitte aeglustumine.

Ühine mälu on ka põhjus, miks kiirust piirab pigem ribalaius kui maht: 273 GB/s toidab iga tokenit, nii et tihe 70B mudel loeb tokeni kohta umbes 37 GiB, samas kui 3B aktiivse parameetriga ekspertide segu mudel loeb alla 2 GB. Täieliku riistvara nimekirja leiate spetsifikatsioonide lehelt.

Eraldi GPU või Maci jaoks teeb FitLocally sama sobivuskontrolli umbes 110 avatud mudelile graafikakaartidel, Macidel ja mini-PC-del. See on eraldi sait, mida ma avaldan.

Mudelid, mis ühele Sparkile ei mahu

Kalkulaator sisaldab kahte näidet, mis ei mahu. Mõlemad põhinevad koondsaitide lehtedel, mitte mudelikaartidel ega GPUwerki enda näitajatel, seega käsitle suurusi suunistena.

MudelKasutatud suurusAllikas (koondsait)Miks see ebaõnnestub
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parameetrit)llmrun.devUmbes 2,5 korda ühe Sparki 121,6 GiB (130,6 GB) ja rohkem, kui kaks Sparki kokku mahutavad (umbes 261 GB)
Kimi K3, 4-bitineumbes 1570 GB (2,8T parameetrit x 0,56)slash-digital.io12 korda ühe Sparki mahust

Kontrollitud 2026-10-11. Kimi 4-bitine suurus on minu korrutis, mitte avaldatud kvant.

Kaks Sparki ja 64 GB variant

Kaks ühendatud Sparki annavad kaks 121,6 GiB mälu, mitte 256 GB ühele mudelile. Kalkulaator jagab kaalud ja KV võrdselt ning kontrollib iga sõlme, mis on optimistlik, sest tegelikud jaotused on harva täiesti võrdsed. Seadistuse kohta vaata kahe sõlmega klastri juhendit. Mudeli proovimiseks päris riistvaral enne ostmist selgitab rentimise leht minutipõhist rentimist.

NVIDIA tootelehel on kirjas 64 GB variant, mida müüakse OEM-partnerite kaudu (vt spetsifikatsioonide lehte), ja The Registeri 2. oktoobri 2026 artikkel käsitleb teadaannet, sealhulgas muutumatut 273 GB/s ribalaiust (kontrollitud 2026-10-11). GPUwerk pole sellist käitanud, seega on kalkulaatori 60,8 GiB näitaja pool 121,6-st ja mitte midagi enamat. Sellise suuruse juures jätaks 4-bitine 70B näide (37 GiB) enne lisakulusid ja KV-d umbes 24 GiB. 64 GB vs 128 GB juhend käib läbi, millised praegused mudelid kummalegi mahuvad.

KKK

Kui palju mälu vajab 70B mudel?

Kaalud on parameetrid korda baidid parameetri kohta: umbes 140 GB FP16 juures, 70 GB FP8 juures ja 37 GB 4-bitisena, nagu mudelite leht esitab. DGX Sparkil, kus on umbes 121,6 GiB adresseeritavat mälu, FP16 ei mahu, FP8 (70 GB) mahub, kuid jääb veidi alla 75 GB piiri, kus sellest saab ühe kasutaja mudel, ja 4-bitine jätab enne KV-vahemälu umbes 84 GiB. Llama 3.3 70B lisab FP16 juures 327 680 baiti KV-vahemälu tokeni kohta, seega 8192 tokenit ühe jada jaoks on umbes 2,7 GB.

Kas gpt-oss-120b mahub DGX Sparkile?

Jah. OpenAI Hugging Face'i repos olevad MXFP4 kaalud on kokku 65,2 GB (60,8 GiB), mis jätab 121,6 GiB adresseeritavast mälust umbes 61 GiB KV-vahemälule ja lisakuludele. GPUwerk pole selle mudeli mälujalajälge ega kiirust mõõtnud. Sageli tsiteeritud umbes 60 tok/s llama.cpp all on kolmanda osapoole aruanne (tg32 tühja kontekstiga, langedes 32 768 tokeni kontekstiga umbes 40 tok/s-ni), mitte GPUwerki mõõtmine.

Mis on ühismälu LLM-ide jaoks?

DGX Sparkil on üks 128 GB LPDDR5x mälu, mida kasutavad nii protsessor kui ka GPU, seega eraldi VRAM-i pole. Kaalud, KV-vahemälu, operatsioonisüsteem, Docker ja lehevahemälu ammutavad kõik samast mälust ning mudel, mis on „VRAM-i jaoks liiga suur“, on lihtsalt liiga suur selle jaoks, mis sellest mälust alles on. See tähendab ka, et dekodeerimiskiiruse määrab 273 GB/s ribalaius, mitte maht.

Kas kaks Sparki tähendab 256 GB ühe mudeli jaoks?

Ei. Kaks ühendatud Sparki on kaks eraldi 121,6 GiB mälu, mis on ühendatud võrguühendusega, mitte üks 256 GB mälu. Mudel tuleb nende vahel jagada, näiteks tensor- või konveierparalleelsusega, ja iga sõlm vajab ikkagi oma osa kaaludest, KV-vahemälust ja lisakuludest. See leht kontrollib mahtumist sõlme kohta ega esita kahe sõlme kiiruse väiteid; GPUwerki üks mõõdetud paar, Qwen3-32B tensorparalleelsusega, on võrdlustestide lehel. Kahe sõlmega klastri juhend käsitleb seadistust.

Kui täpne see kalkulaator on?

See on hinnang, mitte täpne näitaja. See jätab välja mootori puhvrid, CUDA graafid, kvantimise metaandmed lisaks baitide keskmisele parameetri kohta ja mootoripõhise eraldamise, näiteks vLLM-i eelnevalt mõõtu seatud KV-kogumi. Llama 3.3 70B AWQ puhul ühtivad hinnang ja GPUwerki võrdlustestide logid umbes 3 GiB täpsusega ning logid on tõde. Testi enne konfiguratsioonile pühendumist päris koormust.

Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti

Kontrolli hinnangut päris Sparkil.

Rendi dedikeeritud DGX Spark Euroopas, Põhja-Ameerikas või Ida-Aasias hinnaga 0,79 $/h, arveldatakse minutipõhiselt, ja laadi mudel, mille suuruse just arvutasid.

Loo konto Vaata hindu