DGX Spark/Suuret mallit
Käyttötapaus · Suuret mallit

Aja 70B–120B-luokan malleja 128 GB:n yhtenäisessä muistissa

Kirjoittaja: Samuel Seidel · Päivitetty 10. marraskuuta 2026 · 7 min lukuaika

DGX Sparkissa on 128 GB muistia, jonka sen CPU ja GPU jakavat, joten mallit, jotka eivät koskaan mahdu 24 tai 32 GB:n näytönohjaimeen, latautuvat yhtenä kokonaisuutena. Mahtuminen ei kuitenkaan tarkoita nopeutta. Muisti siirtää 273 GB/s, ja jokainen tuotettu token lukee mallin aktiiviset painot kerran. Yhdellä Sparkeistani tiheä Llama 3.3 70B tuotti 6,0 tokenia sekunnissa yksittäiselle pyynnölle. Mixture-of-experts-malli lukee tokenia kohden vain osan painoistaan: gpt-oss-120b:n on raportoitu yltävän samalla sirulla 58,7 tok/s. Valitse malli kaistanleveyden mukaan ja vuokraa Spark tarvitsemiksesi tunneiksi.

Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa, noin 37 tuntia yhdellä Sparkilla. Laskutus minuutin tarkkuudella ennakkoon maksetusta saldosta. Lopeta, kun olet valmis, niin laskutus päättyy.

Mikä mahtuu ja kuinka nopeasti yksi pyyntö toimii

Malli ja formaattiLuetaan tokenia kohdenYksi pyyntöLähde
Qwen3-Coder 30B-A3B, AWQ 4-bitnoin 3B parametria80,9 tok/sOma ajoni, vLLM 0.27.1, 2.9.2026 (raakaloki)
gpt-oss-120b, MXFP45,1B / 117B58,7 tok/sRaportoitu: llama.cpp:n DGX Spark -tulokset, build 7941, 5.2.2026
gpt-oss-120b, MXFP45,1B / 117B33,5 tok/sRaportoitu: Dendro Logic, vLLM, 1 500 tokenin kehotteet ja JSON-tuloste, 22.4.2026
Nemotron-3-Super-120B-A12B, NVFP412B / 120Bnoin 24 tok/sRaportoitu: NVIDIA-foorumi, vLLM CUTLASS-korjauksella, 29.3.2026
Llama 3.3 70B, AWQ 4-bitkaikki 70B (tiheä)6,0 tok/sOma ajoni, vLLM 0.27.1, 2.9.2026 (raakaloki)
Nemotron Super 49B v1.5, NVFP4kaikki 49B (tiheä)5,79 tok/sRaportoitu: Dendro Logic, 22.4.2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B / 235Bnoin 1,8 tok/s; ei mahduRaportoitu: NVIDIA-foorumi, llama.cpp, 17.12.2025

"Raportoitu"-rivit ovat muiden mittauksia, jotka keräsin ja tarkistin lähteitään vasten 11. lokakuuta 2026 vertailutestisivua varten; en ole toistanut niitä. Kaksi gpt-oss-120b-riviä näyttää, kuinka paljon moottori ja työkuorma vaikuttavat yhteen malliin yhdellä sirulla. gpt-oss-120b:n parametrimäärät ovat sen mallikortista muistilaskurin kautta.

Miksi tiheä 70B on hidas ja 120B MoE ei

Tokenin tuottaminen tarkoittaa aktiivisten painojen lukemista muistista kerran, joten yläraja on muistikaista jaettuna tokenia kohden luettavilla tavuilla:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Todelliset moottorit yltävät noin puoleen tai neljään viidesosaan ylärajasta. Alle noin 10 tok/s malli tuntuu chat-ikkunassa hitaalta, ja siksi tiheä 70B yhdellä Sparkilla on eräajomalli: 128 käynnissä olevalla pyynnöllä 70B-ajoni ylsi yhteensä 485 tok/s:iin kehote- ja tuotetut tokenit mukaan lukien, mutta kukin pyyntö hidastui 1,4 tok/s:iin. Täydet rinnakkaisuuskäyrät ovat vertailutestisivulla.

Mitä ajaisin

Aja gpt-oss-120b llama.cpp:llä

Yhdelle käyttäjälle kerrallaan llama.cpp on tällä sirulla nopeampi moottori. Ota DGX Spark 1× käyttöön DGX OS -vedoksella, avaa selainpääte, käännä llama.cpp GB10:lle (5–10 minuuttia) ja käynnistä malli. Käännösvaiheet ovat samat kuin llama.cpp-oppaassani.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Kun loki kertoo palvelimen kuuntelevan, mittaa oma nopeutesi toisesta päätteestä. llama-server palauttaa ajoituksensa jokaisen vastauksen mukana:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Lataus kuluttaa aikaa, joten käynnistä se ensin ja lue sen latautuessa. Kun haluat yhteyden palvelimelle kannettavaltasi, käytä SSH-tunnelia omalla avaimellasi tai käynnistä se valitsimilla --host 0.0.0.0 --api-key ja pitkällä satunnaisella avaimella: jokaisella instanssilla on oma julkinen IPv4-osoite. Useille samanaikaisille käyttäjille vLLM eräkäsittelee paremmin; vLLM-oppaassa on yhtenäisen muistin muistilaskelmat.

Rajoitukset, jotka kannattaa tietää ensin

Hinta ja missä Sparkit ovat

0,79 $ tunnilta yhdestä Sparkista, laskutus minuutin tarkkuudella ennakkoon maksetusta saldosta: 6,32 $ kahdeksan tunnin työpäivältä. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa. Pysäytetty instanssi säilyttää työtilansa ja laskutetaan 75 %:lla tuntihinnasta. Lopeta, kun olet valmis, niin laskutus päättyy; se poistaa työtilan. Hinnat eivät sisällä alv:tä, jos sitä sovelletaan.

Omat Sparkini ovat konesalissa Hradec Královéssa, Tšekissä. Kumppaneiden Sparkit, joita kumppanit omistavat ja ylläpitävät omissa tiloissaan, ovat Yhdysvalloissa, Ruotsissa, Alankomaissa, Slovakiassa ja Hongkongissa; kumppanilla on fyysinen pääsy koneeseensa. Konsoli näyttää maan ja sen, onko kone ETA-alueella, ennen käyttöönottoa. Jokainen sijainti tarjoaa yllä käytetyt DGX OS- ja Ubuntu-vedokset.

Kuka tätä pyörittää

GPUwerk on uusi. Sitä pyöritän minä, Samuel Seidel, Prahaan rekisteröidyn PRINT IT! SE -yhtiön kautta. 9. marraskuuta 2026 mennessä 94 kehittäjää on käynnistänyt 374 instanssia syyskuusta lähtien. Ajantasainen tila on osoitteessa status.gpuwerk.com, ja yhteystietosivu tavoittaa minut suoraan, jos haluat tarkistaa mallin ennen vuokraamista.

UKK

Voiko DGX Sparkilla ajaa 70B-mallia?

Kyllä. Llama 3.3 70B AWQ 4-bit -muodossa on noin 37 GiB painoja ja mahtuu väljästi, mutta se tuotti 6,0 tokenia sekunnissa yksittäiselle pyynnölle yhdellä Sparkeistani (vLLM 0.27.1, 2. syyskuuta 2026). Se sopii eräajoihin paremmin kuin chattiin.

Mahtuuko gpt-oss-120b yhdelle DGX Sparkille?

Kyllä. Sen MXFP4-painot ovat yhteensä 65,2 GB, ja se lukee noin 5,1B parametria tokenia kohden. llama.cpp:n ylläpitäjät raportoivat 58,7 tok/s yhdelle pyynnölle; Dendro Logic raportoi 33,5 vLLM:llä pidemmillä kehotteilla ja JSON-tulosteella. En ole mitannut sitä kalustollani.

Entä yli 128 GB:n mallit?

Ne tarvitsevat kaksi linkitettyä Sparkia. 134 GB:n Qwen3-235B-A22B-versio toimi noin 1,8 tok/s:n nopeudella yhdellä Sparkilla ja noin 12,5:llä kahdella NVIDIAn kehittäjäfoorumin raportissa. GPUwerkin kahden solmun klusteri maksaa 1,79 $ tunnilta, kun konsoli tarjoaa sitä.

Paljonko suuren mallin kokeileminen maksaa?

0,79 $ tunnilta yhdestä Sparkista, laskutus minuutin tarkkuudella ennakkoon maksetusta saldosta; ensimmäinen lataus ja llama.cpp:n käännös kuluttavat samaa aikaa. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa, noin 37 tuntia. Lopeta, kun olet valmis, niin laskutus päättyy.

Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa

Lataa 120B-malli omalle Sparkillesi.

Dedikoitu DGX Spark 128 GB:n yhtenäisellä muistilla, 0,79 $/h, laskutus minuutin tarkkuudella. Lopeta, kun olet valmis, niin laskutus päättyy.

Ota käyttöön nyt