DGX Spark/Modele mari
Caz de utilizare · Modele mari

Rulați modele din clasa 70B până la 120B în 128 GB de memorie unificată

De Samuel Seidel · Actualizat pe 10 noiembrie 2026 · 7 min de citit

Un DGX Spark are 128 GB de memorie partajată de CPU și GPU, așa că modelele care nu încap niciodată pe o placă grafică de 24 sau 32 GB se încarcă dintr-o bucată. A încăpea nu înseamnă a fi rapid. Memoria transferă 273 GB/s, iar fiecare token generat citește o dată ponderile active ale modelului. Pe unul dintre Spark-urile mele, un Llama 3.3 70B dens a generat 6,0 tokeni pe secundă pentru o singură cerere. Un model mixture-of-experts citește doar o parte din ponderi per token: gpt-oss-120b este raportat la 58,7 tok/s pe același cip. Alegeți modelul în funcție de lățimea de bandă, apoi închiriați un Spark pentru orele de care aveți nevoie.

Prima reîncărcare: plătiți 20 $, primiți 30 $ credit, aproximativ 37 de ore pe un Spark. Facturat pe minut din credit preplătit. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.

Ce încape și cât de repede rulează o cerere

Model și formatCitit per tokenO cerereSursă
Qwen3-Coder 30B-A3B, AWQ pe 4 bițiaproximativ 3B parametri80,9 tok/sRularea mea, vLLM 0.27.1, 2 sept. 2026 (log brut)
gpt-oss-120b, MXFP45,1B din 117B58,7 tok/sRaportat: rezultatele llama.cpp pe DGX Spark, build 7941, 5 feb. 2026
gpt-oss-120b, MXFP45,1B din 117B33,5 tok/sRaportat: Dendro Logic, vLLM, prompturi de 1.500 de tokeni și ieșire JSON, 22 apr. 2026
Nemotron-3-Super-120B-A12B, NVFP412B din 120Baproximativ 24 tok/sRaportat: forumul NVIDIA, vLLM cu o corecție CUTLASS, 29 mar. 2026
Llama 3.3 70B, AWQ pe 4 bițitoți cei 70B (dens)6,0 tok/sRularea mea, vLLM 0.27.1, 2 sept. 2026 (log brut)
Nemotron Super 49B v1.5, NVFP4toți cei 49B (dens)5,79 tok/sRaportat: Dendro Logic, 22 apr. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B din 235Baproximativ 1,8 tok/s; nu încapeRaportat: forumul NVIDIA, llama.cpp, 17 dec. 2025

Rândurile „Raportat” sunt măsurătorile altor persoane, pe care le-am adunat și verificat cu sursele lor pe 11 octombrie 2026 pentru pagina de benchmark-uri; nu le-am reprodus. Cele două rânduri gpt-oss-120b arată cât de mult schimbă motorul și workload-ul un model pe același cip. Numărul de parametri pentru gpt-oss-120b provine din fișa modelului, prin calculatorul de memorie.

De ce un 70B dens este lent, iar un MoE de 120B nu

Generarea unui token înseamnă citirea o dată a ponderilor active din memorie, deci plafonul este lățimea de bandă a memoriei împărțită la octeții citiți per token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Motoarele reale ajung între aproximativ jumătate și patru cincimi din plafon. Sub aproximativ 10 tok/s, un model pare lent într-o fereastră de chat, motiv pentru care un 70B dens pe un Spark este un model pentru procesare în loturi: cu 128 de cereri în curs, rularea mea cu 70B a ajuns la 485 tok/s în total, numărând tokenii din prompt și cei generați, dar fiecare cerere a încetinit la 1,4 tok/s. Curbele complete de concurență sunt pe pagina de benchmark-uri.

Ce aș rula eu

Rulați gpt-oss-120b cu llama.cpp

Pentru un singur utilizator odată, llama.cpp este motorul mai rapid pe acest cip. Lansați DGX Spark 1× cu imaginea DGX OS, deschideți terminalul din browser, construiți llama.cpp pentru GB10 (5 până la 10 minute) și porniți modelul. Pașii de build sunt aceiași ca în ghidul meu llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Când logul spune că serverul ascultă, măsurați-vă viteza dintr-un al doilea terminal. llama-server returnează timpii cu fiecare răspuns:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Descărcarea rulează pe ceas, așa că porniți-o prima și citiți cât se încarcă. Pentru a accesa serverul de pe laptop, folosiți un tunel SSH cu propria cheie sau porniți-l cu --host 0.0.0.0 --api-key și o cheie lungă aleatorie: fiecare instanță are propria adresă IPv4 publică. Pentru mai mulți utilizatori simultan, vLLM face batching mai bine; ghidul vLLM are calculul memoriei pentru memoria unificată.

Limite de știut dinainte

Prețul și unde se află Spark-urile

0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit: 6,32 $ pentru o zi de opt ore. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită își păstrează spațiul de lucru și se facturează cu 75% din tariful orar. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește; asta șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică.

Spark-urile mele sunt într-un centru de date din Hradec Králové, Republica Cehă. Spark-urile partenerilor, deținute și găzduite de parteneri la propriile sedii, sunt în SUA, Suedia, Țările de Jos, Slovacia și Hong Kong; un partener are acces fizic la mașina lui. Consola arată țara și dacă este în SEE înainte să lansați. Fiecare locație oferă imaginile DGX OS și Ubuntu folosite mai sus.

Cine conduce asta

GPUwerk este nou. Îl conduc eu, Samuel Seidel, prin PRINT IT! SE, o firmă înregistrată la Praga. La 9 noiembrie 2026, 94 de dezvoltatori au pornit 374 de instanțe din septembrie. Starea în timp real este pe status.gpuwerk.com, iar pagina de contact ajunge direct la mine dacă doriți să verificați un model înainte de a închiria.

Întrebări frecvente

Poate un DGX Spark să ruleze un model de 70B?

Da. Llama 3.3 70B în AWQ pe 4 biți are aproximativ 37 GiB de ponderi și încape cu loc de rezervă, dar a generat 6,0 tokeni pe secundă pentru o singură cerere pe unul dintre Spark-urile mele (vLLM 0.27.1, 2 septembrie 2026). Se potrivește mai bine joburilor batch decât chatului.

Încape gpt-oss-120b pe un singur DGX Spark?

Da. Ponderile sale MXFP4 au în total 65,2 GB și citește aproximativ 5,1B parametri per token. Mentenanții llama.cpp raportează 58,7 tok/s pentru o cerere; Dendro Logic raportează 33,5 pe vLLM cu prompturi mai lungi și ieșire JSON. Nu l-am măsurat pe flota mea.

Ce se întâmplă cu modelele mai mari de 128 GB?

Au nevoie de două Spark-uri legate. Un build Qwen3-235B-A22B de 134 GB a rulat la aproximativ 1,8 tok/s pe un Spark și aproximativ 12,5 pe două, conform unui raport de pe forumul pentru dezvoltatori NVIDIA. Clusterul GPUwerk cu două noduri costă 1,79 $ pe oră când consola îl oferă.

Cât costă încercarea unui model mare?

0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit; prima descărcare și compilarea llama.cpp rulează tot pe acest ceas. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit, cam 37 de ore. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.

Prima reîncărcare: plătiți 20 $, primiți 30 $ credit

Încărcați un model de 120B pe propriul Spark.

Un DGX Spark dedicat cu 128 GB de memorie unificată, 0,79 $/h facturat pe minut. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.

Lansați acum