DGX Spark/Veliki modeli
Slučaj upotrebe · Veliki modeli

Pokrećite modele klase 70B do 120B u 128 GB objedinjene memorije

Autor: Samuel Seidel · Ažurirano 10. studenoga 2026. · 7 min čitanja

DGX Spark ima 128 GB memorije koju dijele CPU i GPU, pa se modeli koji nikada ne bi stali na grafičku karticu od 24 ili 32 GB učitavaju u jednom komadu. To što model stane ne znači da je brz. Memorija prenosi 273 GB/s, a svaki generirani token jednom čita aktivne težine modela. Na jednom od mojih Sparkova gusti Llama 3.3 70B generirao je 6,0 tokena u sekundi za jedan zahtjev. Mixture-of-experts model po tokenu čita samo dio svojih težina: za gpt-oss-120b na istom čipu prijavljeno je 58,7 tok/s. Odaberite model prema propusnosti, a zatim unajmite Spark za onoliko sati koliko vam treba.

Prva nadoplata: platite 20 USD, dobijete 30 USD kredita, otprilike 37 sati na jednom Sparku. Naplata po minuti iz unaprijed plaćenog kredita. Ukinite instancu kad završite i naplata prestaje.

Što stane i koliko brzo radi jedan zahtjev

Model i formatPročitano po tokenuJedan zahtjevIzvor
Qwen3-Coder 30B-A3B, AWQ 4-bitoko 3B parametara80,9 tok/sMoje mjerenje, vLLM 0.27.1, 2. rujna 2026. (neobrađeni zapis)
gpt-oss-120b, MXFP45,1B od 117B58,7 tok/sPrijavljeno: rezultati llama.cpp za DGX Spark, build 7941, 5. veljače 2026.
gpt-oss-120b, MXFP45,1B od 117B33,5 tok/sPrijavljeno: Dendro Logic, vLLM, upiti od 1.500 tokena i JSON izlaz, 22. travnja 2026.
Nemotron-3-Super-120B-A12B, NVFP412B od 120Boko 24 tok/sPrijavljeno: NVIDIA-in forum, vLLM s CUTLASS popravkom, 29. ožujka 2026.
Llama 3.3 70B, AWQ 4-bitsvih 70B (gusti)6,0 tok/sMoje mjerenje, vLLM 0.27.1, 2. rujna 2026. (neobrađeni zapis)
Nemotron Super 49B v1.5, NVFP4svih 49B (gusti)5,79 tok/sPrijavljeno: Dendro Logic, 22. travnja 2026.
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B od 235Boko 1,8 tok/s; ne stanePrijavljeno: NVIDIA-in forum, llama.cpp, 17. prosinca 2025.

Reci označeni kao „prijavljeno” tuđa su mjerenja koja sam prikupio i provjerio prema njihovim izvorima 11. listopada 2026. za stranicu s mjerenjima performansi; nisam ih reproducirao. Dva reda za gpt-oss-120b pokazuju koliko pogon i radno opterećenje pomiču jedan model na jednom čipu. Broj parametara za gpt-oss-120b potječe s njegove kartice modela, preko kalkulatora memorije.

Zašto je gusti model od 70B spor, a MoE od 120B nije

Generiranje tokena znači jednokratno čitanje aktivnih težina iz memorije, pa je gornja granica propusnost memorije podijeljena s bajtovima pročitanima po tokenu:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

U praksi pogoni dosežu između otprilike polovice i četiri petine te granice. Ispod otprilike 10 tok/s model djeluje sporo u prozoru za razgovor, zbog čega je gusti model od 70B na jednom Sparku model za skupnu obradu: sa 128 zahtjeva u tijeku moje je mjerenje na 70B doseglo ukupno 485 tok/s, računajući tokene upita i generirane tokene, ali se svaki zahtjev usporio na 1,4 tok/s. Potpune krivulje istodobnosti nalaze se na stranici s mjerenjima performansi.

Što bih ja pokrenuo

Pokrenite gpt-oss-120b s llama.cpp

Za jednog korisnika u određenom trenutku llama.cpp je brži pogon na ovom čipu. Pokrenite DGX Spark 1× sa slikom sustava DGX OS, otvorite terminal u pregledniku, izgradite llama.cpp za GB10 (5 do 10 minuta) i pokrenite model. Koraci izgradnje isti su kao u mom vodiču za llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Kad zapis kaže da poslužitelj sluša, izmjerite vlastitu brzinu iz drugog terminala. llama-server uz svaki odgovor vraća svoja mjerenja:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Preuzimanje teče dok sat radi, pa ga pokrenite prvo i čitajte dok se učitava. Da biste do poslužitelja došli s prijenosnika, upotrijebite SSH tunel s vlastitim ključem ili ga pokrenite s --host 0.0.0.0 --api-key i dugim nasumičnim ključem: svaka instanca ima vlastitu javnu IPv4 adresu. Za više istodobnih korisnika vLLM bolje grupira zahtjeve; vodič za vLLM donosi memorijski izračun za objedinjenu memoriju.

Ograničenja koja treba prvo znati

Cijena i gdje se Sparkovi nalaze

0,79 USD po satu za jedan Spark, naplata po minuti iz unaprijed plaćenog kredita: 6,32 USD za osmosatni dan. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Zaustavljena instanca zadržava radni prostor i naplaćuje se po 75 % satne cijene. Ukinite je kada završite i naplata prestaje; time se radni prostor briše. Cijene ne uključuju PDV gdje se primjenjuje.

Moji su Sparkovi u podatkovnom centru u Hradecu Králové u Češkoj. Partnerski Sparkovi, u vlasništvu partnera koji ih hostiraju u vlastitim prostorima, nalaze se u SAD-u, Švedskoj, Nizozemskoj, Slovačkoj i Hong Kongu; partner ima fizički pristup svom stroju. Konzola prije pokretanja prikazuje zemlju i je li ona u EGP-u. Svaka lokacija nudi slike sustava DGX OS i Ubuntu korištene iznad.

Tko ovo vodi

GPUwerk je nov. Vodim ga ja, Samuel Seidel, preko PRINT IT! SE, tvrtke registrirane u Pragu. Na dan 9. studenoga 2026. od rujna je 94 razvojna programera pokrenulo 374 instance. Stanje u stvarnom vremenu nalazi se na status.gpuwerk.com, a preko stranice za kontakt dolazite izravno do mene ako želite provjeriti model prije najma.

Česta pitanja

Može li DGX Spark pokrenuti model od 70B?

Da. Llama 3.3 70B u AWQ 4-bitnom zapisu ima oko 37 GiB težina i stane s viškom, ali je na jednom od mojih Sparkova za jedan zahtjev generirao 6,0 tokena u sekundi (vLLM 0.27.1, 2. rujna 2026.). To više odgovara skupnim poslovima nego razgovoru.

Stane li gpt-oss-120b na jedan DGX Spark?

Da. Njegove MXFP4 težine ukupno iznose 65,2 GB, a po tokenu čita oko 5,1B parametara. Održavatelji llama.cpp prijavljuju 58,7 tok/s za jedan zahtjev; Dendro Logic prijavljuje 33,5 na vLLM-u uz dulje upite i JSON izlaz. Nisam ga mjerio na svojoj floti.

Što s modelima većima od 128 GB?

Trebaju im dva povezana Sparka. Izgradnja Qwen3-235B-A22B od 134 GB radila je oko 1,8 tok/s na jednom Sparku i oko 12,5 na dva, prema izvještaju na NVIDIA-inu forumu za razvojne programere. GPUwerkov klaster od dva čvora stoji 1,79 USD na sat kad ga konzola nudi.

Koliko košta isprobati veliki model?

0,79 USD po satu za jedan Spark, naplata po minuti iz unaprijed plaćenog kredita; prvo preuzimanje i izgradnja llama.cpp-a također se obračunavaju. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita, oko 37 sati. Ukinite instancu kada završite i naplata prestaje.

Prva nadoplata: platite 20 USD, dobijete 30 USD kredita

Učitajte model od 120B na vlastitom Sparku.

Namjenski DGX Spark sa 128 GB objedinjene memorije, 0,79 USD/h uz naplatu po minuti. Ukinite instancu kada završite i naplata prestaje.

Pokrenite sada