DGX Spark/Veliki modeli
Primer uporabe · Veliki modeli

Poganjajte modele razreda 70B do 120B v 128 GB enotnega pomnilnika

Avtor Samuel Seidel · Posodobljeno 10. novembra 2026 · 7 min branja

DGX Spark ima 128 GB pomnilnika, ki si ga delita CPU in GPU, zato se modeli, ki nikoli ne gredo na grafično kartico s 24 ali 32 GB, naložijo v enem kosu. Da gre model v pomnilnik, še ne pomeni, da je hiter. Pomnilnik prenaša 273 GB/s, vsak generiran token pa enkrat prebere aktivne uteži modela. Na enem od mojih Sparkov je gost Llama 3.3 70B za eno zahtevo generiral 6,0 tokena na sekundo. Model z mešanico strokovnjakov (MoE) na token prebere le del svojih uteži: za gpt-oss-120b na istem čipu poročajo o 58,7 tok/s. Model izberite glede na pasovno širino, nato najemite Spark za toliko ur, kolikor jih potrebujete.

Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja, kar je približno 37 ur na enem Sparku. Obračun po minutah iz predplačniškega dobroimetja. Ko končate, instanco odstranite in obračun se konča.

Kaj gre v pomnilnik in kako hitro teče ena zahteva

Model in oblikaPrebrano na tokenEna zahtevaVir
Qwen3-Coder 30B-A3B, AWQ 4-bitpribližno 3B parametrov80,9 tok/sMoj zagon, vLLM 0.27.1, 2. sep. 2026 (surovi dnevnik)
gpt-oss-120b, MXFP45,1B od 117B58,7 tok/sPoročano: rezultati llama.cpp za DGX Spark, gradnja 7941, 5. 2. 2026
gpt-oss-120b, MXFP45,1B od 117B33,5 tok/sPoročano: Dendro Logic, vLLM, pozivi s 1.500 tokeni in izhod JSON, 22. 4. 2026
Nemotron-3-Super-120B-A12B, NVFP412B od 120Bpribližno 24 tok/sPoročano: forum NVIDIA, vLLM s popravkom CUTLASS, 29. 3. 2026
Llama 3.3 70B, AWQ 4-bitnovseh 70B (gost)6,0 tok/sMoj zagon, vLLM 0.27.1, 2. sep. 2026 (surovi dnevnik)
Nemotron Super 49B v1.5, NVFP4vseh 49B (gost)5,79 tok/sPoročano: Dendro Logic, 22. 4. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B od 235Bpribližno 1,8 tok/s; ne gre v pomnilnikPoročano: forum NVIDIA, llama.cpp, 17. 12. 2025

Vrstice z oznako "Poročano" so meritve drugih, ki sem jih zbral in 11. oktobra 2026 preveril pri njihovih virih za stran z meritvami; sam jih nisem ponovil. Vrstici za gpt-oss-120b pokažeta, kako daleč lahko pogon in opravilo premakneta en model na enem čipu. Število parametrov za gpt-oss-120b je z njegove kartice modela, prek kalkulatorja pomnilnika.

Zakaj je gost model s 70B počasen, model MoE s 120B pa ne

Ustvarjanje tokena pomeni, da se aktivne uteži enkrat preberejo iz pomnilnika, zato je zgornja meja pasovna širina pomnilnika, deljena z bajti, prebranimi na token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Resnični pogoni dosežejo med približno polovico in štirimi petinami zgornje meje. Pod približno 10 tok/s se model v klepetalnem oknu zdi počasen, zato je gosti 70B na enem Sparku model za paketno obdelavo: s 128 hkratnimi zahtevami je moj zagon 70B dosegel skupno 485 tok/s, štetih tokenov poziva in ustvarjenih tokenov, vsaka zahteva pa se je upočasnila na 1,4 tok/s. Celotne krivulje sočasnosti so na strani z meritvami.

Kaj bi poganjal jaz

Poženite gpt-oss-120b z llama.cpp

Za enega uporabnika naenkrat je llama.cpp hitrejši pogon na tem čipu. Zaženite DGX Spark 1× z odtisom DGX OS, odprite terminal v brskalniku, zgradite llama.cpp za GB10 (5 do 10 minut) in zaženite model. Koraki gradnje so enaki kot v mojem vodniku za llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Ko dnevnik pove, da strežnik posluša, iz drugega terminala izmerite svojo hitrost. llama-server z vsakim odgovorom vrne svoje čase:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Prenos teče v obračunanem času, zato ga zaženite najprej in berite, medtem ko se nalaga. Za dostop do strežnika s prenosnika uporabite tunel SSH z lastnim ključem ali ga zaženite z --host 0.0.0.0 --api-key in dolgim naključnim ključem: vsaka instanca ima svoj javni naslov IPv4. Za več uporabnikov hkrati vLLM bolje paketira; vodnik za vLLM ima izračun pomnilnika za enotni pomnilnik.

Omejitve, ki jih velja poznati

Cena in kje so Sparki

0,79 USD na uro za en Spark, obračun po minutah iz predplačniškega dobroimetja: 6,32 USD za osemurni dan. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ustavljena instanca ohrani delovni prostor in se obračunava po 75 % urne cene. Ko končate, instanco odstranite in obračun se konča; s tem se izbriše delovni prostor. Cene ne vključujejo DDV, kjer se ta obračuna.

Moji lastni Sparki so v podatkovnem centru v Hradcu Králové na Češkem. Partnerski Sparki, ki so v lasti partnerjev in jih ti gostijo v svojih prostorih, so v ZDA, na Švedskem, Nizozemskem, Slovaškem in v Hongkongu; partner ima fizični dostop do svoje naprave. Konzola pred zagonom pokaže državo in ali je ta v EGP. Vsaka lokacija ponuja zgoraj uporabljena odtisa DGX OS in Ubuntu.

Kdo to vodi

GPUwerk je nov. Vodim ga jaz, Samuel Seidel, prek PRINT IT! SE, podjetja s sedežem v Pragi. Na dan 9. novembra 2026 je od septembra 94 razvijalcev zagnalo 374 instanc. Trenutno stanje je na status.gpuwerk.com, prek kontaktne strani pa me dosežete neposredno, če želite pred najemom preveriti kakšen model.

Pogosta vprašanja

Ali lahko DGX Spark poganja model s 70B parametri?

Da. Llama 3.3 70B v obliki AWQ 4-bitno ima približno 37 GiB uteži in gre v pomnilnik s prostorom za rezervo, a je na enem od mojih Sparkov za eno zahtevo ustvaril 6,0 tokena na sekundo (vLLM 0.27.1, 2. septembra 2026). To bolj ustreza paketnim opravilom kot klepetu.

Ali gre gpt-oss-120b na en DGX Spark?

Da. Njegove uteži MXFP4 skupaj znašajo 65,2 GB, na token pa prebere približno 5,1B parametrov. Vzdrževalci llama.cpp za eno zahtevo poročajo o 58,7 tok/s; Dendro Logic z daljšimi pozivi in izhodom JSON na vLLM poroča o 33,5. Na svoji floti ga nisem izmeril.

Kaj pa modeli, večji od 128 GB?

Potrebujejo dva povezana Sparka. Gradnja Qwen3-235B-A22B s 134 GB je po poročilu na razvijalskem forumu NVIDIA na enem Sparku tekla pri približno 1,8 tok/s, na dveh pa pri približno 12,5. Gruča z dvema vozliščema pri GPUwerku stane 1,79 USD na uro, kadar jo konzola ponudi.

Koliko stane preizkus velikega modela?

0,79 USD na uro za en Spark, obračun po minutah iz predplačniškega dobroimetja; prvi prenos in gradnja llama.cpp tečeta v tem času. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja, kar je približno 37 ur. Ko končate, instanco odstranite in obračun se konča.

Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja

Naložite model s 120B parametri na svoj Spark.

Namenski DGX Spark s 128 GB enotnega pomnilnika, 0,79 USD/h z obračunom po minutah. Ko končate, ga odstranite in obračun se konča.

Zaženite zdaj