DGX Spark/Grote modellen
Toepassing · Grote modellen

Draai modellen van de 70B- tot 120B-klasse in 128 GB unified memory

Door Samuel Seidel · Bijgewerkt op 10 november 2026 · 7 min. lezen

Een DGX Spark heeft 128 GB geheugen dat CPU en GPU delen, dus modellen die nooit op een grafische kaart van 24 of 32 GB passen, laden in één stuk. Passen is niet hetzelfde als snel. Het geheugen verplaatst 273 GB/s, en elk gegenereerd token leest de actieve gewichten van het model één keer. Op een van mijn Sparks genereerde een dense Llama 3.3 70B 6,0 tokens per seconde voor één request. Een mixture-of-experts-model leest per token maar een deel van zijn gewichten: voor gpt-oss-120b wordt 58,7 tok/s gemeld op dezelfde chip. Kies het model op basis van de bandbreedte en huur dan een Spark voor de uren die je nodig hebt.

Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed, ongeveer 37 uur op één Spark. Per minuut afgeschreven van prepaid tegoed. Beëindig de instance als je klaar bent; daarmee stopt de facturering.

Wat past, en hoe snel één request draait

Model en formaatGelezen per tokenEén requestBron
Qwen3-Coder 30B-A3B, AWQ 4-bitongeveer 3B parameters80,9 tok/sMijn run, vLLM 0.27.1, 2 sep 2026 (ruwe log)
gpt-oss-120b, MXFP45,1B van 117B58,7 tok/sGemeld: resultaten van llama.cpp op de DGX Spark, build 7941, 5 feb 2026
gpt-oss-120b, MXFP45,1B van 117B33,5 tok/sGemeld: Dendro Logic, vLLM, prompts van 1.500 tokens en JSON-uitvoer, 22 apr 2026
Nemotron-3-Super-120B-A12B, NVFP412B van 120Bongeveer 24 tok/sGemeld: NVIDIA-forum, vLLM met een CUTLASS-fix, 29 mrt 2026
Llama 3.3 70B, AWQ 4-bitalle 70B (dense)6,0 tok/sMijn run, vLLM 0.27.1, 2 sep 2026 (ruwe log)
Nemotron Super 49B v1.5, NVFP4alle 49B (dense)5,79 tok/sGemeld: Dendro Logic, 22 apr 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B van 235Bongeveer 1,8 tok/s; past nietGemeld: NVIDIA-forum, llama.cpp, 17 dec 2025

Rijen met "Gemeld" zijn metingen van anderen, die ik heb verzameld en op 11 oktober 2026 aan hun bronnen heb getoetst voor de benchmarkpagina; ik heb ze niet gereproduceerd. De twee rijen voor gpt-oss-120b laten zien hoeveel engine en workload één model op één chip verschuiven. Parameteraantallen voor gpt-oss-120b komen uit de modelkaart, via de geheugencalculator.

Waarom een dense 70B traag is en een 120B-MoE niet

Een token genereren betekent dat de actieve gewichten één keer uit het geheugen worden gelezen, dus het plafond is de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Echte engines halen tussen ongeveer de helft en vier vijfde van het plafond. Onder ongeveer 10 tok/s voelt een model traag aan in een chatvenster, en daarom is een dense 70B op één Spark een batchmodel: met 128 lopende requests haalde mijn 70B-run in totaal 485 tok/s, prompt- en gegenereerde tokens samen, maar elk request zakte naar 1,4 tok/s. De volledige gelijktijdigheidscurves staan op de benchmarkpagina.

Wat ik zou draaien

gpt-oss-120b draaien met llama.cpp

Voor één gebruiker tegelijk is llama.cpp de snellere engine op deze chip. Deploy DGX Spark 1× met de DGX OS-image, open de browserterminal, bouw llama.cpp voor de GB10 (5 tot 10 minuten) en start het model. De buildstappen zijn dezelfde als in mijn llama.cpp-handleiding.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Zodra de log zegt dat de server luistert, meet je je eigen snelheid vanuit een tweede terminal. llama-server geeft bij elk antwoord zijn timings terug:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

De download loopt op de klok, dus start die eerst en lees terwijl hij laadt. Om de server vanaf je laptop te bereiken, gebruik je een SSH-tunnel met je eigen sleutel, of start je hem met --host 0.0.0.0 --api-key en een lange willekeurige sleutel: elke instance heeft een eigen publiek IPv4-adres. Voor meerdere gebruikers tegelijk batcht vLLM beter; de vLLM-handleiding heeft de geheugenberekening voor unified memory.

Grenzen die je eerst moet kennen

Prijs en waar de Sparks staan

$ 0,79 per uur voor één Spark, per minuut afgeschreven van prepaid tegoed: $ 6,32 voor een werkdag van acht uur. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Een gestopte instance behoudt zijn workspace en wordt gefactureerd tegen 75% van het uurtarief. Beëindig hem als je klaar bent; daarmee stopt de facturering en wordt de workspace verwijderd. Prijzen zijn exclusief btw waar van toepassing.

Mijn eigen Sparks staan in een datacenter in Hradec Králové, Tsjechië. Partner-Sparks, eigendom van partners en door hen gehost op hun eigen locatie, staan in de VS, Zweden, Nederland, Slowakije en Hongkong; een partner heeft fysieke toegang tot zijn machine. De console toont vóór het deployen het land en of het in de EER ligt. Elke locatie biedt de DGX OS- en Ubuntu-images die hierboven worden gebruikt.

Wie dit runt

GPUwerk is nieuw. Het wordt gerund door mij, Samuel Seidel, via PRINT IT! SE, een bedrijf dat in Praag is geregistreerd. Op 9 november 2026 hadden 94 developers sinds september 374 instances gestart. De actuele status staat op status.gpuwerk.com, en via de contactpagina bereik je mij rechtstreeks als je een model wilt controleren voordat je huurt.

FAQ

Kan een DGX Spark een 70B-model draaien?

Ja. Llama 3.3 70B in AWQ 4-bit is ongeveer 37 GiB aan gewichten en past ruim, maar op een van mijn Sparks genereerde het 6,0 tokens per seconde voor één request (vLLM 0.27.1, 2 september 2026). Dat past beter bij batchjobs dan bij chat.

Past gpt-oss-120b op één DGX Spark?

Ja. De MXFP4-gewichten zijn samen 65,2 GB, en het leest ongeveer 5,1B parameters per token. De maintainers van llama.cpp melden 58,7 tok/s voor één request; Dendro Logic meldt 33,5 op vLLM met langere prompts en JSON-uitvoer. Ik heb het niet op mijn vloot gemeten.

En modellen groter dan 128 GB?

Daarvoor zijn twee gekoppelde Sparks nodig. Een build van Qwen3-235B-A22B van 134 GB draaide volgens een melding op het NVIDIA-ontwikkelaarsforum op ongeveer 1,8 tok/s op één Spark en ongeveer 12,5 op twee. Het cluster van twee nodes van GPUwerk kost $ 1,79 per uur wanneer de console het aanbiedt.

Hoeveel kost het om een groot model te proberen?

$ 0,79 per uur voor één Spark, per minuut afgeschreven van prepaid tegoed; de eerste download en de llama.cpp-build lopen op die klok. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed, ongeveer 37 uur. Beëindig de instance als je klaar bent; daarmee stopt de facturering.

Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed

Laad een 120B-model op een eigen Spark.

Een dedicated DGX Spark met 128 GB unified memory, $ 0,79/uur per minuut gefactureerd. Beëindig hem als je klaar bent; daarmee stopt de facturering.

Nu deployen