DGX Spark/Muistilaskuri
Laskuri

Mahtuuko se DGX Sparkille? LLM-muistilaskuri

Kirjoittaja: Samuel Seidel · Julkaistu 11. lokakuuta 2026 · 6 min lukuaika

70B-malli 4-bittisenä tarvitsee noin 37 GiB painoja, mikä jättää DGX Sparkin 121,6 GiB:n osoitettavasta yhtenäisestä muistista noin 84 GiB KV-välimuistille ja yleiskuormalle; FP16-tarkkuudella (noin 140 GB) sama malli ei mahdu. Myös gpt-oss-120b mahtuu: sen MXFP4-painot ovat yhteensä 65,2 GB (60,8 GiB), jolloin jäljelle jää noin 61 GiB. Syötä oma mallisi alle; kaavat ja niiden rajoitukset ovat laskurin jälkeen. Pyöritän GPUwerkiä, joka vuokraa DGX Sparkeja, joten huomioi tämä näkökulma.

Kaksi esimerkkivastausta

MalliPainotJäljellä 121,6 GiB:stäArvio
Llama 3.3 70B, AWQ 4-bitnoin 37 GiB (GPUwerkin loki)noin 84 GiB, noin 82 GiB 8 192 tokenin KV:n jälkeen yhdelle käyttäjälleMahtuu. Muisti riittää tiimille, nopeus ei (GPUwerk mittasi 6,0 tok/s yhdellä käyttäjällä)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), Hugging Face -reponoin 61 GiB ennen KV:tä ja yleiskuormaaMahtuu. 40 ja 75 GB:n rajojen välissä, joten muutama käyttäjä mahtuu, jos KV-välimuisti pysyy pienenä

37 GiB:n Llama-painot, 6,0 tok/s ja 121,6 GiB:n luku ovat GPUwerkin vLLM-dokumentista, Llama 3.3 70B -sivulta ja vertailutestisivulta. gpt-oss-120b:n koko on MXFP4-safetensors-tiedostojen summa repossa openai/gpt-oss-120b Hugging Facessa, tarkistettu 2026-10-11; llama.cpp raportoi MXFP4 GGUF:n kooksi 59,02 GiB keskustelussa #16578. GPUwerk ei ole mitannut gpt-oss-120b:n muistijalanjälkeä. Vähennyslasku ja KV-koko ovat omia laskelmiani.

Mahtuminen on vasta puolet: helposti mahtuva tiheä 70B tuottaa silti noin 6 tokenia sekunnissa yhdelle pyynnölle, koska jokainen token lukee kaikki sen painot. Mitkä suuret mallit toimivat riittävän nopeasti yhdellä Sparkilla vertaa tiheitä ja mixture-of-experts-malleja mitatuilla ja raportoiduilla nopeuksilla.

Laskuri

Kaikki toimii selaimessasi, eikä mitään tallenneta tai lähetetä. Valitse esiasetus tai syötä omat lukusi. Tulokset näkyvät lomakkeen alla ja päivittyvät kirjoittaessasi.

Malli

Syötä omat lukusi.

KV-välimuisti
Kone
Syötä malli yllä, niin saat arvion. Ilman JavaScriptiä käytä alla olevia kaavoja tai kahta yllä olevaa esimerkkivastausta.

4 GiB:n yleiskuorman oletus on oma oletukseni, joka perustuu mallisivun "muutamaan gigatavuun" aktivaatioille ja CUDA-kontekstille. 64 GB:n vaihtoehto skaalaa GPUwerkin havaitseman 121,6 GiB:n puoleen; GPUwerk ei ole ajanut tätä versiota. Kahden solmun tila olettaa painojen ja KV:n jakautuvan tasan.

Näin arvio toimii

Kolme kaavaa, kaikki pelkkää laskentaa:

Tavua parametria kohden ovat keskiarvoja, eivät tarkkoja. FP16 on 2 ja FP8 on 1. 4-bittiset muodot (INT4, AWQ, NVFP4, MXFP4) asettuvat välille 0,5–0,56, kun skaalauskertoimet lasketaan mukaan, ja tämä sivu käyttää oletuksena 0,56:ta. 2-bittinen GGUF on noin 0,3. Dynaamiset GGUF-kvantisoinnit sekoittavat bittileveyksiä, joten julkaistut tiedostokoot ovat luotettavampia kuin mikään kaava.

Arvio noudattaa mallisivun nyrkkisääntöä. Alle noin 40 GB painoja solmua kohden jättää tilaa tiimin palvelemiseen, yli noin 75 GB on yhden käyttäjän malli, ja negatiivinen pelivara tarkoittaa, ettei se mahdu. Niiden välinen 40–75 GB:n alue on oma tulkintani säännöstä: se mahtuu, mutta KV-välimuisti ratkaisee, kuinka monta käyttäjää mahtuu. 22 nykyisen mallin KV-välimuistin koot, laskettuina kunkin config.json-tiedostosta, ovat sivulla KV-välimuistin koko malleittain.

Kaavan tarkistaminen GPUwerkin lokeja vasten

GPUwerkin vLLM-ajot kirjasivat, kuinka monta KV-tokenia mahtuu 0,85:n GPU-muistin käyttöasteella. Lokit ovat totuus; kaavan tarvitsee vain osua lähelle niitä.

MalliKV tokenia kohdenKirjatut KV-tokenit 0,85:lläKV-koko kaavan mukaanRistiintarkistus
Llama 3.3 70B AWQ327 680 tavua (80 kerrosta, 8 KV-päätä, 128 dim, FP16)207 12063,2 GiB37 GiB painoja + 63,2 GiB KV = 100,2 GiB, kun budjetti on 0,85 x 121,6 = 103,4 GiB. Loput 3,2 GiB on moottorin yleiskuormaa.
Qwen3-Coder 30B-A3B AWQ98 304 tavua (48 kerrosta, 4 KV-päätä, 128 dim, FP16)924 91284,7 GiBJättää 103,4 GiB:n budjetista 18,7 GiB painoille ja yleiskuormalle. Parametrit x 0,56 antaa noin 16 GiB painoja, mikä on johdonmukaista.

KV-tokenit ja 37 GiB:n luku: GPUwerkin Llama 3.3 70B- ja Qwen3-Coder 30B-A3B-sivut ja -lokit. Kerrosten, päiden ja dimensioiden määrät: mallien config.json-tiedostot Hugging Facessa (Llama 3.3 70B -peili, Qwen3-Coder, gpt-oss-120b), tarkistettu 2026-10-11. Ristiintarkistuksen summat ovat omia laskelmiani.

Yksi yksikköpoikkeama: GPUwerkin vertailutestisivu ja Llama 3.3 70B -sivu jakavat 273 GB/s luvulla 37 saadakseen 7,4 tok/s:n ylärajan, eli käsittelevät kirjattua 37 GiB:tä 37 GB:nä. Muunnettuna (37 GiB on 39,7 GB) yläraja on 6,9 tok/s, ja laskuri käyttää tätä lukua. Verrattuna 6,9:ään mitattu 6,0 tok/s on noin 87 % ylärajasta, hieman 50–80 %:n vaihteluvälin yläpuolella.

Miksi yhtenäinen muisti on erilainen

Erillisellä GPU:lla on oma VRAM, ja malli joko mahtuu sinne tai valuu hitaan PCIe-väylän yli. DGX Sparkissa on yksi 128 GB:n LPDDR5x-muistialue, jonka CPU ja GPU jakavat. GPUwerkin lokien mukaan siitä on osoitettavissa noin 121,6 GiB, ja sen on riitettävä käyttöjärjestelmälle, Dockerille, sivuvälimuistille ja muille prosesseille sekä painoillesi ja KV-välimuistillesi.

NVIDIAn DGX Sparkin julkaisutiedot (tarkistettu 2026-10-11) listaavat näytölle varatun muistin säädettäväksi heinäkuun 2026 julkaisussa: oletuksena 2 GB, BIOSin kautta 4 GB. Jos käytät näyttöä, tarkista free -h -komennolla, mitä oma järjestelmäsi raportoi, ennen kuin mitoitat mallin viimeiseen gigatavuun asti. GPUwerk ajaa Sparkejaan myös ilman swapia 9. syyskuuta 2026 tehdyn muistin vahvistuskierroksen jälkeen, joten muistin loppuminen on out-of-memory-virhe, ei hidastuminen.

Muistialue on myös syy siihen, että nopeutta rajoittaa kaistanleveys eikä kapasiteetti: 273 GB/s syöttää jokaisen tokenin, joten tiheä 70B-malli lukee noin 37 GiB tokenia kohden, kun taas 3B-aktiivinen mixture-of-experts-malli lukee alle 2 GB. Katso koko laitteistoluettelo tekniset tiedot -sivulta.

Erillisnäytönohjaimelle tai Macille FitLocally tekee samanlaisen soveltuvuustarkistuksen noin 110 avoimelle mallille näytönohjaimilla, Maceilla ja minitietokoneilla. Se on erillinen sivusto, jota julkaisen.

Mallit, jotka eivät mahdu yhdelle Sparkille

Laskurissa on kaksi esimerkkiä, jotka eivät mahdu. Molemmat perustuvat koostajasivuihin, eivät mallikortteihin tai GPUwerkin omiin lukuihin, joten pidä kokoja suuntaa-antavina.

MalliKäytetty kokoLähde (koostaja)Miksi se epäonnistuu
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametria)llmrun.devNoin 2,5 kertaa yhden Sparkin 121,6 GiB (130,6 GB), ja enemmän kuin kaksi Sparkia yhdessä mahduttaa (noin 261 GB)
Kimi K3, 4-bitnoin 1 570 GB (2,8T parametria x 0,56)slash-digital.io12 kertaa yhden Sparkin kapasiteetti

Tarkistettu 2026-10-11. Kimin 4-bittinen koko on oma kertolaskuni, ei julkaistu kvantisointi.

Kaksi Sparkia ja 64 GB:n versio

Kaksi linkitettyä Sparkia antaa kaksi 121,6 GiB:n muistialuetta, ei 256 GB:tä yhdelle mallille. Laskuri jakaa painot ja KV:n tasan ja tarkistaa kunkin solmun, mikä on optimistista, koska todelliset jaot ovat harvoin täysin tasaisia. Asennuksesta katso kahden solmun klusterin opas. Kun haluat kokeilla mallia oikealla laitteistolla ennen ostoa, vuokraamisen ohjesivu kertoo minuuttivuokrasta.

NVIDIAn tuotesivu listaa 64 GB:n version, jota myydään OEM-kumppaneiden kautta (katso tekniset tiedot -sivu), ja The Registerin 2. lokakuuta 2026 julkaistu uutinen kattaa julkistuksen, mukaan lukien muuttumattoman 273 GB/s:n kaistanleveyden (tarkistettu 2026-10-11). GPUwerk ei ole ajanut sellaista, joten laskurin 60,8 GiB:n luku on puolet 121,6:sta eikä mitään muuta. Tuolla koolla 4-bittinen 70B-esimerkki (37 GiB) jättäisi noin 24 GiB ennen yleiskuormaa ja KV:tä. 64 GB vs 128 GB -opas käy läpi, mitkä nykyiset mallit mahtuvat kumpaankin.

UKK

Kuinka paljon muistia 70B-malli tarvitsee?

Painot ovat parametrit kertaa tavut parametria kohden: noin 140 GB FP16:lla, 70 GB FP8:lla ja 37 GB 4-bittisenä, kuten mallisivu esittää. DGX Sparkilla, jossa on noin 121,6 GiB osoitettavissa, FP16 ei mahdu, FP8 (70 GB) mahtuu mutta jää juuri alle 75 GB:n rajan, jossa siitä tulee yhden käyttäjän malli, ja 4-bittinen jättää noin 84 GiB ennen KV-välimuistia. Llama 3.3 70B lisää FP16:lla 327 680 tavua KV-välimuistia tokenia kohden, joten 8 192 tokenia yhdelle sekvenssille on noin 2,7 GB.

Mahtuuko gpt-oss-120b DGX Sparkille?

Kyllä. OpenAI:n Hugging Face -repon MXFP4-painot ovat yhteensä 65,2 GB (60,8 GiB), mikä jättää 121,6 GiB:n osoitettavasta muistista noin 61 GiB KV-välimuistille ja yleiskuormalle. GPUwerk ei ole mitannut tämän mallin muistijalanjälkeä tai nopeutta. Usein mainittu noin 60 tok/s llama.cpp:llä on kolmannen osapuolen raportti (tg32 tyhjällä kontekstilla, laskee noin 40 tok/s:iin 32 768 tokenin kontekstilla), ei GPUwerkin mittaus.

Mitä yhtenäinen muisti tarkoittaa LLM:ille?

DGX Sparkissa on yksi 128 GB:n LPDDR5x-muistialue, jota sekä CPU että GPU käyttävät, joten erillistä VRAM-muistia ei ole. Painot, KV-välimuisti, käyttöjärjestelmä, Docker ja sivuvälimuisti ottavat kaikki samasta muistialueesta, ja malli, joka on "liian suuri VRAM-muistiin", on yksinkertaisesti liian suuri siihen, mitä muistialueesta on jäljellä. Se tarkoittaa myös, että dekoodausnopeuden määrää 273 GB/s:n kaistanleveys, ei kapasiteetti.

Tarkoittavatko kaksi Sparkia 256 GB:tä yhdelle mallille?

Ei. Kaksi linkitettyä Sparkia ovat kaksi erillistä 121,6 GiB:n muistialuetta verkkoyhteydellä yhdistettyinä, eivät yksi 256 GB:n muistialue. Malli on jaettava niiden kesken, esimerkiksi tensori- tai putkirinnakkaisuudella, ja kukin solmu tarvitsee silti oman osuutensa painoista, KV-välimuistista ja yleiskuormasta. Tämä sivu tarkistaa mahtumisen solmukohtaisesti eikä esitä kahden solmun nopeusväitettä; GPUwerkin ainoa mitattu pari, Qwen3-32B tensoririnnakkaisuudella, on vertailutestisivulla. Kahden solmun klusterin opas kattaa asennuksen.

Kuinka tarkka tämä laskuri on?

Se on arvio, ei tarkka luku. Se jättää pois moottorin puskurit, CUDA-graafit, kvantisoinnin metadatan tavua parametria kohden -keskiarvon lisäksi ja moottorikohtaisen varauksen, kuten vLLM:n ennalta mitoitetun KV-poolin. Llama 3.3 70B AWQ:lle arvio ja GPUwerkin vertailutestilokit täsmäävät noin 3 GiB:n tarkkuudella, ja lokit ovat totuus. Testaa todellisella kuormalla ennen kuin sitoudut kokoonpanoon.

Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa

Tarkista arvio oikealla Sparkilla.

Vuokraa dedikoitu DGX Spark Euroopasta, Pohjois-Amerikasta tai Itä-Aasiasta hintaan 0,79 $/h, laskutus minuutin tarkkuudella, ja lataa juuri mitoittamasi malli.

Luo tili Katso hinnoittelu