Pokrećite modele klase 70B do 120B u 128 GB objedinjene memorije
DGX Spark ima 128 GB memorije koju dijele CPU i GPU, pa se modeli koji nikada ne bi stali na grafičku karticu od 24 ili 32 GB učitavaju u jednom komadu. To što model stane ne znači da je brz. Memorija prenosi 273 GB/s, a svaki generirani token jednom čita aktivne težine modela. Na jednom od mojih Sparkova gusti Llama 3.3 70B generirao je 6,0 tokena u sekundi za jedan zahtjev. Mixture-of-experts model po tokenu čita samo dio svojih težina: za gpt-oss-120b na istom čipu prijavljeno je 58,7 tok/s. Odaberite model prema propusnosti, a zatim unajmite Spark za onoliko sati koliko vam treba.
Prva nadoplata: platite 20 USD, dobijete 30 USD kredita, otprilike 37 sati na jednom Sparku. Naplata po minuti iz unaprijed plaćenog kredita. Ukinite instancu kad završite i naplata prestaje.
Što stane i koliko brzo radi jedan zahtjev
| Model i format | Pročitano po tokenu | Jedan zahtjev | Izvor |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | oko 3B parametara | 80,9 tok/s | Moje mjerenje, vLLM 0.27.1, 2. rujna 2026. (neobrađeni zapis) |
| gpt-oss-120b, MXFP4 | 5,1B od 117B | 58,7 tok/s | Prijavljeno: rezultati llama.cpp za DGX Spark, build 7941, 5. veljače 2026. |
| gpt-oss-120b, MXFP4 | 5,1B od 117B | 33,5 tok/s | Prijavljeno: Dendro Logic, vLLM, upiti od 1.500 tokena i JSON izlaz, 22. travnja 2026. |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B od 120B | oko 24 tok/s | Prijavljeno: NVIDIA-in forum, vLLM s CUTLASS popravkom, 29. ožujka 2026. |
| Llama 3.3 70B, AWQ 4-bit | svih 70B (gusti) | 6,0 tok/s | Moje mjerenje, vLLM 0.27.1, 2. rujna 2026. (neobrađeni zapis) |
| Nemotron Super 49B v1.5, NVFP4 | svih 49B (gusti) | 5,79 tok/s | Prijavljeno: Dendro Logic, 22. travnja 2026. |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B od 235B | oko 1,8 tok/s; ne stane | Prijavljeno: NVIDIA-in forum, llama.cpp, 17. prosinca 2025. |
Reci označeni kao „prijavljeno” tuđa su mjerenja koja sam prikupio i provjerio prema njihovim izvorima 11. listopada 2026. za stranicu s mjerenjima performansi; nisam ih reproducirao. Dva reda za gpt-oss-120b pokazuju koliko pogon i radno opterećenje pomiču jedan model na jednom čipu. Broj parametara za gpt-oss-120b potječe s njegove kartice modela, preko kalkulatora memorije.
Zašto je gusti model od 70B spor, a MoE od 120B nije
Generiranje tokena znači jednokratno čitanje aktivnih težina iz memorije, pa je gornja granica propusnost memorije podijeljena s bajtovima pročitanima po tokenu:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
U praksi pogoni dosežu između otprilike polovice i četiri petine te granice. Ispod otprilike 10 tok/s model djeluje sporo u prozoru za razgovor, zbog čega je gusti model od 70B na jednom Sparku model za skupnu obradu: sa 128 zahtjeva u tijeku moje je mjerenje na 70B doseglo ukupno 485 tok/s, računajući tokene upita i generirane tokene, ali se svaki zahtjev usporio na 1,4 tok/s. Potpune krivulje istodobnosti nalaze se na stranici s mjerenjima performansi.
Što bih ja pokrenuo
- Model klase 120B s kojim možete razgovarati: gpt-oss-120b u MXFP4. Težine imaju 65,2 GB, što ostavlja mjesta za dugi kontekst, a po tokenu čita oko 5B parametara.
- Prvo brzina: Qwen3 mixture-of-experts model u 4-bitnom zapisu, primjerice Qwen3-30B-A3B ili Qwen3.6-35B-A3B. Oni po tokenu čitaju oko 3B parametara.
- Gusti model od 70B: samo za skupne poslove ili kada vam treba baš taj model. Očekujte oko 6 tok/s po zahtjevu.
- Kvantizirajte na 4 bita. MXFP4, NVFP4, AWQ ili Q4_K_M prepolovljuju broj bajtova po tokenu u odnosu na FP8 i otprilike udvostručuju gornju granicu. Gubitak kvalitete razlikuje se po formatu; vodič o brzini kvantizacije uspoređuje ih na ovom čipu.
- Iznad 128 GB: dva povezana Sparka, za 1,79 USD na sat za klaster s dva čvora kad ga konzola nudi. Spomenuti izvještaj o Qwen3-235B pokazao je prelazak s oko 1,8 tok/s na jednom Sparku na oko 12,5 na dva. Vodič za dva čvora objašnjava što uparivanje donosi.
Pokrenite gpt-oss-120b s llama.cpp
Za jednog korisnika u određenom trenutku llama.cpp je brži pogon na ovom čipu. Pokrenite DGX Spark 1× sa slikom sustava DGX OS, otvorite terminal u pregledniku, izgradite llama.cpp za GB10 (5 do 10 minuta) i pokrenite model. Koraci izgradnje isti su kao u mom vodiču za llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Kad zapis kaže da poslužitelj sluša, izmjerite vlastitu brzinu iz drugog terminala. llama-server uz svaki odgovor vraća svoja mjerenja:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Preuzimanje teče dok sat radi, pa ga pokrenite prvo i čitajte dok se učitava. Da biste do poslužitelja došli s prijenosnika, upotrijebite SSH tunel s vlastitim ključem ili ga pokrenite s --host 0.0.0.0 --api-key i dugim nasumičnim ključem: svaka instanca ima vlastitu javnu IPv4 adresu. Za više istodobnih korisnika vLLM bolje grupira zahtjeve; vodič za vLLM donosi memorijski izračun za objedinjenu memoriju.
Ograničenja koja treba prvo znati
- Nisam mjerio gpt-oss-120b na svojoj floti. Brojke iznad su prijavljene, a vaši će upiti završiti negdje drugdje. Izmjerite prije nego što na nekoj brojci gradite planove.
- Dugi su upiti spori na velikim gustim modelima. Moje mjerenje na 70B pročitalo je upit od 8.192 tokena pri 391 tok/s, dakle oko 21 sekundu prije prvog tokena.
- Kvantizacija košta kvalitete. Model u 4-bitnom zapisu nije isti kao onaj pune preciznosti. Provjerite odgovore na vlastitim upitima.
- Spark je ARM64 s GPU-om sm_121. Pogonima i Python paketima za njega trebaju aarch64 izdanja, a običan
pip install vllmmože se uredno instalirati, a onda se ne pokrenuti; vodič za vLLM objašnjava tu zamku. - Izvodi se u spremniku. Na mnogim Sparkovima ima vlastiti Docker daemon, pa arm64 spremnici proizvođača rade; ostali pokreću običan spremnik bez Dockera, gdje je put izvorna izgradnja opisana iznad. Ne možete birati koji.
- Bez SLA-a i bez sigurnosnih kopija. Preuzimanja modela izvan mape
/workspacegube se pri ponovnoj izgradnji, a ukidanjem se briše sve.
Cijena i gdje se Sparkovi nalaze
0,79 USD po satu za jedan Spark, naplata po minuti iz unaprijed plaćenog kredita: 6,32 USD za osmosatni dan. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Zaustavljena instanca zadržava radni prostor i naplaćuje se po 75 % satne cijene. Ukinite je kada završite i naplata prestaje; time se radni prostor briše. Cijene ne uključuju PDV gdje se primjenjuje.
Moji su Sparkovi u podatkovnom centru u Hradecu Králové u Češkoj. Partnerski Sparkovi, u vlasništvu partnera koji ih hostiraju u vlastitim prostorima, nalaze se u SAD-u, Švedskoj, Nizozemskoj, Slovačkoj i Hong Kongu; partner ima fizički pristup svom stroju. Konzola prije pokretanja prikazuje zemlju i je li ona u EGP-u. Svaka lokacija nudi slike sustava DGX OS i Ubuntu korištene iznad.
Tko ovo vodi
GPUwerk je nov. Vodim ga ja, Samuel Seidel, preko PRINT IT! SE, tvrtke registrirane u Pragu. Na dan 9. studenoga 2026. od rujna je 94 razvojna programera pokrenulo 374 instance. Stanje u stvarnom vremenu nalazi se na status.gpuwerk.com, a preko stranice za kontakt dolazite izravno do mene ako želite provjeriti model prije najma.
Česta pitanja
Može li DGX Spark pokrenuti model od 70B?
Da. Llama 3.3 70B u AWQ 4-bitnom zapisu ima oko 37 GiB težina i stane s viškom, ali je na jednom od mojih Sparkova za jedan zahtjev generirao 6,0 tokena u sekundi (vLLM 0.27.1, 2. rujna 2026.). To više odgovara skupnim poslovima nego razgovoru.
Stane li gpt-oss-120b na jedan DGX Spark?
Da. Njegove MXFP4 težine ukupno iznose 65,2 GB, a po tokenu čita oko 5,1B parametara. Održavatelji llama.cpp prijavljuju 58,7 tok/s za jedan zahtjev; Dendro Logic prijavljuje 33,5 na vLLM-u uz dulje upite i JSON izlaz. Nisam ga mjerio na svojoj floti.
Što s modelima većima od 128 GB?
Trebaju im dva povezana Sparka. Izgradnja Qwen3-235B-A22B od 134 GB radila je oko 1,8 tok/s na jednom Sparku i oko 12,5 na dva, prema izvještaju na NVIDIA-inu forumu za razvojne programere. GPUwerkov klaster od dva čvora stoji 1,79 USD na sat kad ga konzola nudi.
Koliko košta isprobati veliki model?
0,79 USD po satu za jedan Spark, naplata po minuti iz unaprijed plaćenog kredita; prvo preuzimanje i izgradnja llama.cpp-a također se obračunavaju. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita, oko 37 sati. Ukinite instancu kada završite i naplata prestaje.