DGX Spark/Store modeller
Use case · Store modeller

Kør modeller i 70B- til 120B-klassen i 128 GB unified memory

Af Samuel Seidel · Opdateret 10. november 2026 · 7 min. læsning

En DGX Spark har 128 GB hukommelse, som deles af CPU og GPU, så modeller, der aldrig kan være på et grafikkort med 24 eller 32 GB, indlæses i ét stykke. At passe er ikke det samme som at være hurtig. Hukommelsen flytter 273 GB/s, og hvert genereret token læser modellens aktive vægte én gang. På en af mine Sparks genererede en tæt Llama 3.3 70B 6,0 tokens i sekundet for en enkelt forespørgsel. En mixture-of-experts-model læser kun en del af sine vægte pr. token: gpt-oss-120b er rapporteret til 58,7 tok/s på samme chip. Vælg modellen efter båndbredden, og lej derefter en Spark i de timer, du har brug for.

Første optankning: betal 20 $, få 30 $ i kredit, cirka 37 timer på én Spark. Faktureret pr. minut fra forudbetalt kredit. Afslut, når du er færdig, så ophører faktureringen.

Hvad passer, og hvor hurtigt kører én forespørgsel

Model og formatLæst pr. tokenÉn forespørgselKilde
Qwen3-Coder 30B-A3B, AWQ 4-bitcirka 3B parametre80,9 tok/sMin kørsel, vLLM 0.27.1, 2. sep. 2026 (rå log)
gpt-oss-120b, MXFP45,1B af 117B58,7 tok/sRapporteret: llama.cpp DGX Spark-resultater, build 7941, 5. feb. 2026
gpt-oss-120b, MXFP45,1B af 117B33,5 tok/sRapporteret: Dendro Logic, vLLM, prompts på 1.500 tokens og JSON-output, 22. apr. 2026
Nemotron-3-Super-120B-A12B, NVFP412B af 120Bcirka 24 tok/sRapporteret: NVIDIAs forum, vLLM med en CUTLASS-rettelse, 29. mar. 2026
Llama 3.3 70B, AWQ 4-bitalle 70B (tæt)6,0 tok/sMin kørsel, vLLM 0.27.1, 2. sep. 2026 (rå log)
Nemotron Super 49B v1.5, NVFP4alle 49B (tæt)5,79 tok/sRapporteret: Dendro Logic, 22. apr. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B af 235Bcirka 1,8 tok/s; passer ikkeRapporteret: NVIDIAs forum, llama.cpp, 17. dec. 2025

"Rapporteret"-rækker er andres målinger, som jeg samlede og tjekkede mod deres kilder den 11. oktober 2026 til benchmarksiden; jeg har ikke gentaget dem. De to rækker for gpt-oss-120b viser, hvor meget engine og workload flytter én model på én chip. Parameterantal for gpt-oss-120b er fra modelkortet via hukommelsesberegneren.

Hvorfor en tæt 70B er langsom, og en 120B MoE ikke er

At generere et token betyder at læse de aktive vægte ud af hukommelsen én gang, så loftet er hukommelsesbåndbredden divideret med de bytes, der læses pr. token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Rigtige engines lander mellem omkring halvdelen og fire femtedele af loftet. Under cirka 10 tok/s føles en model langsom i et chatvindue, og derfor er en tæt 70B på én Spark en batchmodel: med 128 forespørgsler i gang nåede min 70B-kørsel 485 tok/s i alt, medregnet prompt- og genererede tokens, men hver forespørgsel faldt til 1,4 tok/s. De fulde samtidighedskurver står på benchmarksiden.

Hvad jeg ville køre

Kør gpt-oss-120b med llama.cpp

For én bruger ad gangen er llama.cpp den hurtigste engine på denne chip. Udrul DGX Spark 1× med DGX OS-imaget, åbn browserterminalen, byg llama.cpp til GB10 (5 til 10 minutter), og start modellen. Byggetrinene er de samme som i min llama.cpp-guide.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Når loggen siger, at serveren lytter, kan du måle din egen hastighed fra en ekstra terminal. llama-server returnerer sine tider med hvert svar:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Downloaden kører på uret, så start den først, og læs videre, mens den indlæses. For at nå serveren fra din laptop kan du bruge en SSH-tunnel med din egen nøgle eller starte den med --host 0.0.0.0 --api-key og en lang tilfældig nøgle: hver instans har sin egen offentlige IPv4-adresse. Til flere brugere samtidig batcher vLLM bedre; vLLM-guiden har hukommelsesregnestykket for unified memory.

Begrænsninger, du skal kende først

Pris, og hvor Sparks står

0 $,79 i timen for én Spark, faktureret pr. minut fra forudbetalt kredit: 6 $,32 for en arbejdsdag på otte timer. Første optankning: betal 20 $, få 30 $ i kredit. En stoppet instans beholder sit workspace og faktureres med 75 % af timeprisen. Afslut, når du er færdig, så ophører faktureringen; det sletter workspacet. Priserne er ekskl. moms, hvor det er relevant.

Mine egne Sparks står i et datacenter i Hradec Králové i Tjekkiet. Partner-Sparks, der ejes og hostes af partnere i deres egne lokaler, står i USA, Sverige, Nederlandene, Slovakiet og Hongkong; en partner har fysisk adgang til sin maskine. Konsollen viser landet, og om det er i EØS, før du udruller. Alle placeringer tilbyder de DGX OS- og Ubuntu-images, der bruges ovenfor.

Hvem driver dette

GPUwerk er ny. Den drives af mig, Samuel Seidel, gennem PRINT IT! SE, en virksomhed registreret i Prag. Pr. 9. november 2026 har 94 udviklere startet 374 instanser siden september. Aktuel status står på status.gpuwerk.com, og kontaktsiden når direkte frem til mig, hvis du vil tjekke en model, før du lejer.

FAQ

Kan en DGX Spark køre en 70B-model?

Ja. Llama 3.3 70B i AWQ 4-bit er cirka 37 GiB vægte og passer med plads til overs, men den genererede 6,0 tokens i sekundet for en enkelt forespørgsel på en af mine Sparks (vLLM 0.27.1, 2. september 2026). Det egner sig bedre til batchjob end til chat.

Passer gpt-oss-120b på én DGX Spark?

Ja. Dens MXFP4-vægte fylder i alt 65,2 GB, og den læser cirka 5,1B parametre pr. token. llama.cpp-vedligeholderne rapporterer 58,7 tok/s for én forespørgsel; Dendro Logic rapporterer 33,5 på vLLM med længere prompts og JSON-output. Jeg har ikke målt den på min flåde.

Hvad med modeller større end 128 GB?

De kræver to forbundne Sparks. Et Qwen3-235B-A22B-build på 134 GB kørte med cirka 1,8 tok/s på én Spark og cirka 12,5 på to i en rapport på NVIDIAs udviklerforum. GPUwerks klynge med to noder koster 1 $,79 i timen, når konsollen tilbyder den.

Hvad koster det at prøve en stor model?

0 $,79 i timen for én Spark, faktureret pr. minut fra forudbetalt kredit; den første download og llama.cpp-buildet kører på den tid. Første optankning: betal 20 $, få 30 $ i kredit, cirka 37 timer. Afslut, når du er færdig, så ophører faktureringen.

Første optankning: betal 20 $, få 30 $ i kredit

Indlæs en 120B-model på din egen Spark.

En dedikeret DGX Spark med 128 GB unified memory, 0 $,79/t faktureret pr. minut. Afslut, når du er færdig, så ophører faktureringen.

Udrul nu