Ħaddem mudelli tal-klassi 70B sa 120B f'128 GB ta' memorja unifikata
DGX Spark għandu 128 GB ta' memorja maqsuma bejn is-CPU u l-GPU tiegħu, għalhekk mudelli li qatt ma joqogħdu fuq karta grafika ta' 24 jew 32 GB jitgħabbew f'biċċa waħda. Li joqgħod mhuwiex l-istess bħal li jkun mgħaġġel. Il-memorja tgħaddi 273 GB/s, u kull token iġġenerat jaqra darba l-piżijiet attivi tal-mudell. Fuq wieħed mill-Sparks tiegħi Llama 3.3 70B dens iġġenera 6.0 tokens fis-sekonda għal talba waħda. Mudell mixture-of-experts jaqra biss biċċa mill-piżijiet tiegħu kull token: gpt-oss-120b huwa rrappurtat b'58.7 tok/s fuq l-istess ċippa. Agħżel il-mudell skont il-bandwidth, imbagħad ikri Spark għas-sigħat li teħtieġ.
L-ewwel top-up: ħallas $20, ikseb $30 kreditu, madwar 37 siegħa fuq Spark wieħed. Iffatturat bil-minuta minn kreditu mħallas minn qabel. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.
X'joqgħod, u kemm malajr taħdem talba waħda
| Mudell u format | Jinqraw kull token | Talba waħda | Sors |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | madwar 3B parametru | 80.9 tok/s | Il-prova tiegħi, vLLM 0.27.1, 2 ta' Sett. 2026 (reġistru mhux ipproċessat) |
| gpt-oss-120b, MXFP4 | 5.1B minn 117B | 58.7 tok/s | Irrappurtat: riżultati tad-DGX Spark ta' llama.cpp, build 7941, 5 ta' Fra. 2026 |
| gpt-oss-120b, MXFP4 | 5.1B minn 117B | 33.5 tok/s | Irrappurtat: Dendro Logic, vLLM, prompts ta' 1,500 token u output JSON, 22 ta' Apr. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B minn 120B | madwar 24 tok/s | Irrappurtat: forum ta' NVIDIA, vLLM b'tiswija CUTLASS, 29 ta' Mar. 2026 |
| Llama 3.3 70B, AWQ 4-bit | kollha 70B (dens) | 6.0 tok/s | Il-prova tiegħi, vLLM 0.27.1, 2 ta' Sett. 2026 (reġistru mhux ipproċessat) |
| Nemotron Super 49B v1.5, NVFP4 | kollha 49B (dens) | 5.79 tok/s | Irrappurtat: Dendro Logic, 22 ta' Apr. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B minn 235B | madwar 1.8 tok/s; ma joqgħodx | Irrappurtat: forum ta' NVIDIA, llama.cpp, 17 ta' Diċ. 2025 |
Ir-ringieli "Irrappurtat" huma kejl ta' nies oħra, li ġbart u ċċekkjajt mas-sorsi tagħhom fil-11 ta' Ottubru 2026 għall-paġna tal-benchmarks; ma rriproduċejthomx jien. Iż-żewġ ringieli ta' gpt-oss-120b juru kemm l-engine u l-workload iċaqilqu mudell wieħed fuq ċippa waħda. L-għadd tal-parametri għal gpt-oss-120b huwa mill-model card tiegħu, permezz tal-kalkulatur tal-memorja.
Għaliex 70B dens huwa bil-mod u MoE ta' 120B le
Li tiġġenera token ifisser li taqra l-piżijiet attivi mill-memorja darba, għalhekk il-limitu huwa l-bandwidth tal-memorja diviż bil-bytes li jinqraw kull token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
L-engines reali jaqgħu bejn madwar nofs u erba' kwinti tal-limitu. Taħt madwar 10 tok/s mudell iħossu bil-mod f'tieqa ta' chat, u għalhekk 70B dens fuq Spark wieħed huwa mudell għal batches: b'128 talba għaddejja l-prova tiegħi tal-70B laħqet 485 tok/s b'kollox, inklużi t-tokens tal-prompt u dawk iġġenerati, imma kull talba naqset għal 1.4 tok/s. Il-kurvi sħaħ tal-konkorrenza jinsabu fuq il-paġna tal-benchmarks.
X'kont inħaddem jien
- Mudell tal-klassi 120B li tista' titkellem miegħu: gpt-oss-120b f'MXFP4. Il-piżijiet huma 65.2 GB, li jħallu spazju għal kuntest twil, u jaqra madwar 5B parametru kull token.
- Il-veloċità l-ewwel: mudell mixture-of-experts ta' Qwen3 f'4 bits, bħal Qwen3-30B-A3B jew Qwen3.6-35B-A3B. Dawn jaqraw madwar 3B parametru kull token.
- 70B densa: biss għal batch jobs, jew meta jkollok bżonn eżattament dak il-mudell. Stenna madwar 6 tok/s għal kull talba.
- Ikkwantizza għal 4 bits. MXFP4, NVFP4, AWQ jew Q4_K_M jaqsmu bin-nofs il-bytes għal kull token imqabbla ma' FP8 u bejn wieħed u ieħor jirduppjaw il-limitu. L-ispiża fil-kwalità tvarja skont il-format; il-gwida tal-veloċità tal-kwantizzazzjoni tqabbilhom fuq din iċ-ċippa.
- Aktar minn 128 GB: żewġ Sparks marbuta, b'$1.79 fis-siegħa għall-cluster b'żewġ nodi meta l-console toffrih. Ir-rapport dwar Qwen3-235B hawn fuq mar minn madwar 1.8 tok/s fuq Spark wieħed għal madwar 12.5 fuq tnejn. Il-gwida b'żewġ nodi tkopri x'jagħtik l-ipparjar.
Ħaddem gpt-oss-120b b'llama.cpp
Għal utent wieħed kull darba, llama.cpp huwa l-engine l-aktar mgħaġġel fuq din iċ-ċippa. Iddeploja DGX Spark 1× bl-image DGX OS, iftaħ it-terminal fil-browser, ibni llama.cpp għall-GB10 (5 sa 10 minuti) u ibda l-mudell. Il-passi tal-bini huma l-istess bħal fil-gwida tal-llama.cpp tiegħi.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Meta r-reġistru jgħid li s-server qed jisma', kejjel il-veloċità tiegħek stess minn tieni terminal. llama-server jagħti l-ħinijiet tiegħu ma' kull tweġiba:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
It-tniżżil jaħdem bil-ħin iddekkjat, għalhekk ibdieh l-ewwel u aqra waqt li jitgħabba. Biex tilħaq is-server mil-laptop tiegħek, uża tunnel SSH biċ-ċavetta tiegħek, jew ibdieh b'--host 0.0.0.0 --api-key u key twila u każwali: kull istanza għandha l-indirizz IPv4 pubbliku tagħha. Għal diversi utenti f'daqqa, vLLM jagħmel batches aħjar; il-gwida ta' vLLM fiha l-kalkoli tal-memorja għall-memorja unifikata.
Limiti li għandek tkun taf l-ewwel
- Jien ma kejjiltx gpt-oss-120b fuq il-flotta tiegħi. Iċ-ċifri tiegħu hawn fuq huma rrappurtati, u l-prompts tiegħek se jinżlu x'imkien ieħor. Kejjel qabel ma tippjana madwar ċifra.
- Il-prompts twal huma bil-mod fuq mudelli densi kbar. Il-prova tiegħi tal-70B qrat prompt ta' 8,192 token b'391 tok/s, madwar 21 sekonda qabel l-ewwel token.
- Il-kwantizzazzjoni tiswa fil-kwalità. Mudell 4-bit mhuwiex dak bi preċiżjoni sħiħa. Iċċekkja t-tweġibiet fuq il-prompts tiegħek stess.
- L-Spark huwa ARM64 b'GPU sm_121. L-engines u l-pakketti Python jeħtieġu builds aarch64 għalih, u
pip install vllmsempliċi jista' jiġi installat sew u mbagħad ma jibdiex; il-gwida ta' vLLM tispjega n-nassa. - Jaħdem f'container. Fuq ħafna Sparks għandu d-daemon Docker tiegħu stess, għalhekk jaħdmu containers arm64 tal-bejjiegħa; l-oħrajn iħaddmu container sempliċi mingħajr Docker, fejn il-build nattiv hawn fuq huwa t-triq. Ma tistax tagħżel liema.
- Ebda SLA u ebda backups. Il-mudelli mniżżla barra minn
/workspacejintilfu ma' bini mill-ġdid, u t-terminazzjoni tħassar kollox.
Il-prezz u fejn jinsabu s-Sparks
$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel: $6.32 għal ġurnata ta' tmien sigħat. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa żżomm l-ispazju tax-xogħol tagħha u tiġi ffatturata b'75% tar-rata kull siegħa. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf; dan iħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli.
Is-Sparks tiegħi stess jinsabu f'datacenter f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab, proprjetà ta' sħab u ospitati minnhom fil-postijiet tagħhom, jinsabu fl-Istati Uniti, fl-Iżvezja, fil-Pajjiżi l-Baxxi, fis-Slovakkja u f'Hong Kong; sieħeb għandu aċċess fiżiku għall-magna tiegħu. Il-console turi l-pajjiż, u jekk hux fiż-ŻEE, qabel ma tiddeploja. Kull post joffri l-images DGX OS u Ubuntu użati hawn fuq.
Min imexxi dan
GPUwerk hija ġdida. Titmexxa minni, Samuel Seidel, permezz ta' PRINT IT! SE, kumpanija rreġistrata fi Praga. Sad-9 ta' Novembru 2026, 94 żviluppatur bdew 374 istanza minn Settembru. L-istatus live jinsab fuq status.gpuwerk.com, u l-paġna tal-kuntatt tasal għandi direttament jekk trid tiċċekkja mudell qabel ma tikri.
Mistoqsijiet frekwenti
DGX Spark jista' jħaddem mudell 70B?
Iva. Llama 3.3 70B f'AWQ 4-bit huwa madwar 37 GiB ta' piżijiet u joqgħod b'ħafna spazju żejjed, iżda ġġenera 6.0 tokens fis-sekonda għal talba waħda fuq wieħed mill-Sparks tiegħi (vLLM 0.27.1, 2 ta' Settembru 2026). Dan jaqbel aħjar għal batch jobs milli għal chat.
gpt-oss-120b joqgħod fuq DGX Spark wieħed?
Iva. Il-piżijiet MXFP4 tiegħu jammontaw għal 65.2 GB, u jaqra madwar 5.1B parametri għal kull token. Il-maintainers ta' llama.cpp jirrappurtaw 58.7 tok/s għal talba waħda; Dendro Logic tirrapporta 33.5 fuq vLLM bi prompts itwal u output JSON. Jien ma kejjiltux fuq il-flotta tiegħi.
U l-mudelli akbar minn 128 GB?
Jeħtieġu żewġ Sparks marbuta. Build ta' Qwen3-235B-A22B ta' 134 GB ħadem b'madwar 1.8 tok/s fuq Spark wieħed u b'madwar 12.5 fuq tnejn, f'rapport fuq il-forum tal-iżviluppaturi ta' NVIDIA. Il-cluster b'żewġ nodi ta' GPUwerk huwa $1.79 fis-siegħa meta l-console joffrih.
Kemm jiswa tipprova mudell kbir?
$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel; l-ewwel download u l-build ta' llama.cpp jgħaddu fuq dak il-ħin. L-ewwel top-up: ħallas $20, ikseb $30 kreditu, madwar 37 siegħa. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.