DGX Spark/Mudelli kbar
Każ ta' użu · Mudelli kbar

Ħaddem mudelli tal-klassi 70B sa 120B f'128 GB ta' memorja unifikata

Minn Samuel Seidel · Aġġornat 10 ta' Novembru 2026 · 7 min qari

DGX Spark għandu 128 GB ta' memorja maqsuma bejn is-CPU u l-GPU tiegħu, għalhekk mudelli li qatt ma joqogħdu fuq karta grafika ta' 24 jew 32 GB jitgħabbew f'biċċa waħda. Li joqgħod mhuwiex l-istess bħal li jkun mgħaġġel. Il-memorja tgħaddi 273 GB/s, u kull token iġġenerat jaqra darba l-piżijiet attivi tal-mudell. Fuq wieħed mill-Sparks tiegħi Llama 3.3 70B dens iġġenera 6.0 tokens fis-sekonda għal talba waħda. Mudell mixture-of-experts jaqra biss biċċa mill-piżijiet tiegħu kull token: gpt-oss-120b huwa rrappurtat b'58.7 tok/s fuq l-istess ċippa. Agħżel il-mudell skont il-bandwidth, imbagħad ikri Spark għas-sigħat li teħtieġ.

L-ewwel top-up: ħallas $20, ikseb $30 kreditu, madwar 37 siegħa fuq Spark wieħed. Iffatturat bil-minuta minn kreditu mħallas minn qabel. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.

X'joqgħod, u kemm malajr taħdem talba waħda

Mudell u formatJinqraw kull tokenTalba waħdaSors
Qwen3-Coder 30B-A3B, AWQ 4-bitmadwar 3B parametru80.9 tok/sIl-prova tiegħi, vLLM 0.27.1, 2 ta' Sett. 2026 (reġistru mhux ipproċessat)
gpt-oss-120b, MXFP45.1B minn 117B58.7 tok/sIrrappurtat: riżultati tad-DGX Spark ta' llama.cpp, build 7941, 5 ta' Fra. 2026
gpt-oss-120b, MXFP45.1B minn 117B33.5 tok/sIrrappurtat: Dendro Logic, vLLM, prompts ta' 1,500 token u output JSON, 22 ta' Apr. 2026
Nemotron-3-Super-120B-A12B, NVFP412B minn 120Bmadwar 24 tok/sIrrappurtat: forum ta' NVIDIA, vLLM b'tiswija CUTLASS, 29 ta' Mar. 2026
Llama 3.3 70B, AWQ 4-bitkollha 70B (dens)6.0 tok/sIl-prova tiegħi, vLLM 0.27.1, 2 ta' Sett. 2026 (reġistru mhux ipproċessat)
Nemotron Super 49B v1.5, NVFP4kollha 49B (dens)5.79 tok/sIrrappurtat: Dendro Logic, 22 ta' Apr. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B minn 235Bmadwar 1.8 tok/s; ma joqgħodxIrrappurtat: forum ta' NVIDIA, llama.cpp, 17 ta' Diċ. 2025

Ir-ringieli "Irrappurtat" huma kejl ta' nies oħra, li ġbart u ċċekkjajt mas-sorsi tagħhom fil-11 ta' Ottubru 2026 għall-paġna tal-benchmarks; ma rriproduċejthomx jien. Iż-żewġ ringieli ta' gpt-oss-120b juru kemm l-engine u l-workload iċaqilqu mudell wieħed fuq ċippa waħda. L-għadd tal-parametri għal gpt-oss-120b huwa mill-model card tiegħu, permezz tal-kalkulatur tal-memorja.

Għaliex 70B dens huwa bil-mod u MoE ta' 120B le

Li tiġġenera token ifisser li taqra l-piżijiet attivi mill-memorja darba, għalhekk il-limitu huwa l-bandwidth tal-memorja diviż bil-bytes li jinqraw kull token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

L-engines reali jaqgħu bejn madwar nofs u erba' kwinti tal-limitu. Taħt madwar 10 tok/s mudell iħossu bil-mod f'tieqa ta' chat, u għalhekk 70B dens fuq Spark wieħed huwa mudell għal batches: b'128 talba għaddejja l-prova tiegħi tal-70B laħqet 485 tok/s b'kollox, inklużi t-tokens tal-prompt u dawk iġġenerati, imma kull talba naqset għal 1.4 tok/s. Il-kurvi sħaħ tal-konkorrenza jinsabu fuq il-paġna tal-benchmarks.

X'kont inħaddem jien

Ħaddem gpt-oss-120b b'llama.cpp

Għal utent wieħed kull darba, llama.cpp huwa l-engine l-aktar mgħaġġel fuq din iċ-ċippa. Iddeploja DGX Spark 1× bl-image DGX OS, iftaħ it-terminal fil-browser, ibni llama.cpp għall-GB10 (5 sa 10 minuti) u ibda l-mudell. Il-passi tal-bini huma l-istess bħal fil-gwida tal-llama.cpp tiegħi.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Meta r-reġistru jgħid li s-server qed jisma', kejjel il-veloċità tiegħek stess minn tieni terminal. llama-server jagħti l-ħinijiet tiegħu ma' kull tweġiba:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

It-tniżżil jaħdem bil-ħin iddekkjat, għalhekk ibdieh l-ewwel u aqra waqt li jitgħabba. Biex tilħaq is-server mil-laptop tiegħek, uża tunnel SSH biċ-ċavetta tiegħek, jew ibdieh b'--host 0.0.0.0 --api-key u key twila u każwali: kull istanza għandha l-indirizz IPv4 pubbliku tagħha. Għal diversi utenti f'daqqa, vLLM jagħmel batches aħjar; il-gwida ta' vLLM fiha l-kalkoli tal-memorja għall-memorja unifikata.

Limiti li għandek tkun taf l-ewwel

Il-prezz u fejn jinsabu s-Sparks

$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel: $6.32 għal ġurnata ta' tmien sigħat. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa żżomm l-ispazju tax-xogħol tagħha u tiġi ffatturata b'75% tar-rata kull siegħa. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf; dan iħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli.

Is-Sparks tiegħi stess jinsabu f'datacenter f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab, proprjetà ta' sħab u ospitati minnhom fil-postijiet tagħhom, jinsabu fl-Istati Uniti, fl-Iżvezja, fil-Pajjiżi l-Baxxi, fis-Slovakkja u f'Hong Kong; sieħeb għandu aċċess fiżiku għall-magna tiegħu. Il-console turi l-pajjiż, u jekk hux fiż-ŻEE, qabel ma tiddeploja. Kull post joffri l-images DGX OS u Ubuntu użati hawn fuq.

Min imexxi dan

GPUwerk hija ġdida. Titmexxa minni, Samuel Seidel, permezz ta' PRINT IT! SE, kumpanija rreġistrata fi Praga. Sad-9 ta' Novembru 2026, 94 żviluppatur bdew 374 istanza minn Settembru. L-istatus live jinsab fuq status.gpuwerk.com, u l-paġna tal-kuntatt tasal għandi direttament jekk trid tiċċekkja mudell qabel ma tikri.

Mistoqsijiet frekwenti

DGX Spark jista' jħaddem mudell 70B?

Iva. Llama 3.3 70B f'AWQ 4-bit huwa madwar 37 GiB ta' piżijiet u joqgħod b'ħafna spazju żejjed, iżda ġġenera 6.0 tokens fis-sekonda għal talba waħda fuq wieħed mill-Sparks tiegħi (vLLM 0.27.1, 2 ta' Settembru 2026). Dan jaqbel aħjar għal batch jobs milli għal chat.

gpt-oss-120b joqgħod fuq DGX Spark wieħed?

Iva. Il-piżijiet MXFP4 tiegħu jammontaw għal 65.2 GB, u jaqra madwar 5.1B parametri għal kull token. Il-maintainers ta' llama.cpp jirrappurtaw 58.7 tok/s għal talba waħda; Dendro Logic tirrapporta 33.5 fuq vLLM bi prompts itwal u output JSON. Jien ma kejjiltux fuq il-flotta tiegħi.

U l-mudelli akbar minn 128 GB?

Jeħtieġu żewġ Sparks marbuta. Build ta' Qwen3-235B-A22B ta' 134 GB ħadem b'madwar 1.8 tok/s fuq Spark wieħed u b'madwar 12.5 fuq tnejn, f'rapport fuq il-forum tal-iżviluppaturi ta' NVIDIA. Il-cluster b'żewġ nodi ta' GPUwerk huwa $1.79 fis-siegħa meta l-console joffrih.

Kemm jiswa tipprova mudell kbir?

$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel; l-ewwel download u l-build ta' llama.cpp jgħaddu fuq dak il-ħin. L-ewwel top-up: ħallas $20, ikseb $30 kreditu, madwar 37 siegħa. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.

L-ewwel top-up: ħallas $20, ikseb $30 kreditu

Għabbi mudell 120B fuq Spark tiegħek.

DGX Spark dedikat b'128 GB ta' memorja unifikata, $0.79/h iffatturat bil-minuta. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.

Iddeploja issa