Poganjajte modele razreda 70B do 120B v 128 GB enotnega pomnilnika
DGX Spark ima 128 GB pomnilnika, ki si ga delita CPU in GPU, zato se modeli, ki nikoli ne gredo na grafično kartico s 24 ali 32 GB, naložijo v enem kosu. Da gre model v pomnilnik, še ne pomeni, da je hiter. Pomnilnik prenaša 273 GB/s, vsak generiran token pa enkrat prebere aktivne uteži modela. Na enem od mojih Sparkov je gost Llama 3.3 70B za eno zahtevo generiral 6,0 tokena na sekundo. Model z mešanico strokovnjakov (MoE) na token prebere le del svojih uteži: za gpt-oss-120b na istem čipu poročajo o 58,7 tok/s. Model izberite glede na pasovno širino, nato najemite Spark za toliko ur, kolikor jih potrebujete.
Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja, kar je približno 37 ur na enem Sparku. Obračun po minutah iz predplačniškega dobroimetja. Ko končate, instanco odstranite in obračun se konča.
Kaj gre v pomnilnik in kako hitro teče ena zahteva
| Model in oblika | Prebrano na token | Ena zahteva | Vir |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | približno 3B parametrov | 80,9 tok/s | Moj zagon, vLLM 0.27.1, 2. sep. 2026 (surovi dnevnik) |
| gpt-oss-120b, MXFP4 | 5,1B od 117B | 58,7 tok/s | Poročano: rezultati llama.cpp za DGX Spark, gradnja 7941, 5. 2. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B od 117B | 33,5 tok/s | Poročano: Dendro Logic, vLLM, pozivi s 1.500 tokeni in izhod JSON, 22. 4. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B od 120B | približno 24 tok/s | Poročano: forum NVIDIA, vLLM s popravkom CUTLASS, 29. 3. 2026 |
| Llama 3.3 70B, AWQ 4-bitno | vseh 70B (gost) | 6,0 tok/s | Moj zagon, vLLM 0.27.1, 2. sep. 2026 (surovi dnevnik) |
| Nemotron Super 49B v1.5, NVFP4 | vseh 49B (gost) | 5,79 tok/s | Poročano: Dendro Logic, 22. 4. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B od 235B | približno 1,8 tok/s; ne gre v pomnilnik | Poročano: forum NVIDIA, llama.cpp, 17. 12. 2025 |
Vrstice z oznako "Poročano" so meritve drugih, ki sem jih zbral in 11. oktobra 2026 preveril pri njihovih virih za stran z meritvami; sam jih nisem ponovil. Vrstici za gpt-oss-120b pokažeta, kako daleč lahko pogon in opravilo premakneta en model na enem čipu. Število parametrov za gpt-oss-120b je z njegove kartice modela, prek kalkulatorja pomnilnika.
Zakaj je gost model s 70B počasen, model MoE s 120B pa ne
Ustvarjanje tokena pomeni, da se aktivne uteži enkrat preberejo iz pomnilnika, zato je zgornja meja pasovna širina pomnilnika, deljena z bajti, prebranimi na token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Resnični pogoni dosežejo med približno polovico in štirimi petinami zgornje meje. Pod približno 10 tok/s se model v klepetalnem oknu zdi počasen, zato je gosti 70B na enem Sparku model za paketno obdelavo: s 128 hkratnimi zahtevami je moj zagon 70B dosegel skupno 485 tok/s, štetih tokenov poziva in ustvarjenih tokenov, vsaka zahteva pa se je upočasnila na 1,4 tok/s. Celotne krivulje sočasnosti so na strani z meritvami.
Kaj bi poganjal jaz
- Model razreda 120B, s katerim se lahko pogovarjate: gpt-oss-120b v MXFP4. Uteži imajo 65,2 GB, kar pušča prostor za dolg kontekst, na token pa prebere približno 5B parametrov.
- Najprej hitrost: model Qwen3 iz družine mixture-of-experts pri 4 bitih, na primer Qwen3-30B-A3B ali Qwen3.6-35B-A3B. Ta na token prebereta približno 3B parametrov.
- Gost model 70B: samo za paketna opravila ali kadar potrebujete točno ta model. Pričakujte približno 6 tok/s na zahtevo.
- Kvantizirajte na 4 bite. MXFP4, NVFP4, AWQ ali Q4_K_M v primerjavi s FP8 prepolovijo bajte na token in približno podvojijo zgornjo mejo. Izguba kakovosti se razlikuje po formatu; vodnik o hitrosti kvantizacije jih primerja na tem čipu.
- Nad 128 GB: dva povezana Sparka, za 1,79 USD na uro za gručo dveh vozlišč, ko jo konzola ponuja. Zgornje poročilo o Qwen3-235B je šlo s približno 1,8 tok/s na enem Sparku na približno 12,5 na dveh. Vodnik za dve vozlišči opisuje, kaj prinese povezava v par.
Poženite gpt-oss-120b z llama.cpp
Za enega uporabnika naenkrat je llama.cpp hitrejši pogon na tem čipu. Zaženite DGX Spark 1× z odtisom DGX OS, odprite terminal v brskalniku, zgradite llama.cpp za GB10 (5 do 10 minut) in zaženite model. Koraki gradnje so enaki kot v mojem vodniku za llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Ko dnevnik pove, da strežnik posluša, iz drugega terminala izmerite svojo hitrost. llama-server z vsakim odgovorom vrne svoje čase:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Prenos teče v obračunanem času, zato ga zaženite najprej in berite, medtem ko se nalaga. Za dostop do strežnika s prenosnika uporabite tunel SSH z lastnim ključem ali ga zaženite z --host 0.0.0.0 --api-key in dolgim naključnim ključem: vsaka instanca ima svoj javni naslov IPv4. Za več uporabnikov hkrati vLLM bolje paketira; vodnik za vLLM ima izračun pomnilnika za enotni pomnilnik.
Omejitve, ki jih velja poznati
- gpt-oss-120b na svoji floti nisem izmeril. Zgornje številke so povzete od drugod, vaši pozivi pa bodo pristali drugje. Preden na številko računate, jo izmerite.
- Dolgi pozivi so na velikih gostih modelih počasni. Moj zagon s 70B je poziv z 8.192 tokeni prebral pri 391 tok/s, torej približno 21 sekund do prvega tokena.
- Kvantizacija stane kakovost. 4-bitni model ni enak modelu s polno natančnostjo. Odgovore preverite na lastnih pozivih.
- Spark je ARM64 z GPU-jem sm_121. Pogoni in paketi Python zanj potrebujejo gradnje za aarch64, preprost
pip install vllmpa se lahko namesti brez napake in se nato ne zažene; vodnik za vLLM to past pojasni. - Teče v vsebniku. Na veliko Sparkih ima lasten demon Docker, zato tečejo proizvajalčevi vsebniki za arm64; drugi poganjajo navaden vsebnik brez Dockerja, kjer je pot zgornja izvorna gradnja. Izbirati ne morete.
- Brez SLA in brez varnostnih kopij. Prenosi modelov zunaj
/workspacese ob ponovni gradnji izgubijo, odstranitev pa izbriše vse.
Cena in kje so Sparki
0,79 USD na uro za en Spark, obračun po minutah iz predplačniškega dobroimetja: 6,32 USD za osemurni dan. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ustavljena instanca ohrani delovni prostor in se obračunava po 75 % urne cene. Ko končate, instanco odstranite in obračun se konča; s tem se izbriše delovni prostor. Cene ne vključujejo DDV, kjer se ta obračuna.
Moji lastni Sparki so v podatkovnem centru v Hradcu Králové na Češkem. Partnerski Sparki, ki so v lasti partnerjev in jih ti gostijo v svojih prostorih, so v ZDA, na Švedskem, Nizozemskem, Slovaškem in v Hongkongu; partner ima fizični dostop do svoje naprave. Konzola pred zagonom pokaže državo in ali je ta v EGP. Vsaka lokacija ponuja zgoraj uporabljena odtisa DGX OS in Ubuntu.
Kdo to vodi
GPUwerk je nov. Vodim ga jaz, Samuel Seidel, prek PRINT IT! SE, podjetja s sedežem v Pragi. Na dan 9. novembra 2026 je od septembra 94 razvijalcev zagnalo 374 instanc. Trenutno stanje je na status.gpuwerk.com, prek kontaktne strani pa me dosežete neposredno, če želite pred najemom preveriti kakšen model.
Pogosta vprašanja
Ali lahko DGX Spark poganja model s 70B parametri?
Da. Llama 3.3 70B v obliki AWQ 4-bitno ima približno 37 GiB uteži in gre v pomnilnik s prostorom za rezervo, a je na enem od mojih Sparkov za eno zahtevo ustvaril 6,0 tokena na sekundo (vLLM 0.27.1, 2. septembra 2026). To bolj ustreza paketnim opravilom kot klepetu.
Ali gre gpt-oss-120b na en DGX Spark?
Da. Njegove uteži MXFP4 skupaj znašajo 65,2 GB, na token pa prebere približno 5,1B parametrov. Vzdrževalci llama.cpp za eno zahtevo poročajo o 58,7 tok/s; Dendro Logic z daljšimi pozivi in izhodom JSON na vLLM poroča o 33,5. Na svoji floti ga nisem izmeril.
Kaj pa modeli, večji od 128 GB?
Potrebujejo dva povezana Sparka. Gradnja Qwen3-235B-A22B s 134 GB je po poročilu na razvijalskem forumu NVIDIA na enem Sparku tekla pri približno 1,8 tok/s, na dveh pa pri približno 12,5. Gruča z dvema vozliščema pri GPUwerku stane 1,79 USD na uro, kadar jo konzola ponudi.
Koliko stane preizkus velikega modela?
0,79 USD na uro za en Spark, obračun po minutah iz predplačniškega dobroimetja; prvi prenos in gradnja llama.cpp tečeta v tem času. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja, kar je približno 37 ur. Ko končate, instanco odstranite in obračun se konča.