Draai modellen van de 70B- tot 120B-klasse in 128 GB unified memory
Een DGX Spark heeft 128 GB geheugen dat CPU en GPU delen, dus modellen die nooit op een grafische kaart van 24 of 32 GB passen, laden in één stuk. Passen is niet hetzelfde als snel. Het geheugen verplaatst 273 GB/s, en elk gegenereerd token leest de actieve gewichten van het model één keer. Op een van mijn Sparks genereerde een dense Llama 3.3 70B 6,0 tokens per seconde voor één request. Een mixture-of-experts-model leest per token maar een deel van zijn gewichten: voor gpt-oss-120b wordt 58,7 tok/s gemeld op dezelfde chip. Kies het model op basis van de bandbreedte en huur dan een Spark voor de uren die je nodig hebt.
Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed, ongeveer 37 uur op één Spark. Per minuut afgeschreven van prepaid tegoed. Beëindig de instance als je klaar bent; daarmee stopt de facturering.
Wat past, en hoe snel één request draait
| Model en formaat | Gelezen per token | Eén request | Bron |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | ongeveer 3B parameters | 80,9 tok/s | Mijn run, vLLM 0.27.1, 2 sep 2026 (ruwe log) |
| gpt-oss-120b, MXFP4 | 5,1B van 117B | 58,7 tok/s | Gemeld: resultaten van llama.cpp op de DGX Spark, build 7941, 5 feb 2026 |
| gpt-oss-120b, MXFP4 | 5,1B van 117B | 33,5 tok/s | Gemeld: Dendro Logic, vLLM, prompts van 1.500 tokens en JSON-uitvoer, 22 apr 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B van 120B | ongeveer 24 tok/s | Gemeld: NVIDIA-forum, vLLM met een CUTLASS-fix, 29 mrt 2026 |
| Llama 3.3 70B, AWQ 4-bit | alle 70B (dense) | 6,0 tok/s | Mijn run, vLLM 0.27.1, 2 sep 2026 (ruwe log) |
| Nemotron Super 49B v1.5, NVFP4 | alle 49B (dense) | 5,79 tok/s | Gemeld: Dendro Logic, 22 apr 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B van 235B | ongeveer 1,8 tok/s; past niet | Gemeld: NVIDIA-forum, llama.cpp, 17 dec 2025 |
Rijen met "Gemeld" zijn metingen van anderen, die ik heb verzameld en op 11 oktober 2026 aan hun bronnen heb getoetst voor de benchmarkpagina; ik heb ze niet gereproduceerd. De twee rijen voor gpt-oss-120b laten zien hoeveel engine en workload één model op één chip verschuiven. Parameteraantallen voor gpt-oss-120b komen uit de modelkaart, via de geheugencalculator.
Waarom een dense 70B traag is en een 120B-MoE niet
Een token genereren betekent dat de actieve gewichten één keer uit het geheugen worden gelezen, dus het plafond is de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Echte engines halen tussen ongeveer de helft en vier vijfde van het plafond. Onder ongeveer 10 tok/s voelt een model traag aan in een chatvenster, en daarom is een dense 70B op één Spark een batchmodel: met 128 lopende requests haalde mijn 70B-run in totaal 485 tok/s, prompt- en gegenereerde tokens samen, maar elk request zakte naar 1,4 tok/s. De volledige gelijktijdigheidscurves staan op de benchmarkpagina.
Wat ik zou draaien
- Een model van de 120B-klasse waarmee je kunt praten: gpt-oss-120b in MXFP4. De gewichten zijn 65,2 GB, wat ruimte laat voor een lange context, en het leest ongeveer 5B parameters per token.
- Snelheid eerst: een mixture-of-experts-model van Qwen3 in 4 bits, zoals Qwen3-30B-A3B of Qwen3.6-35B-A3B. Die lezen ongeveer 3B parameters per token.
- Een dense 70B: alleen voor batchjobs, of als je precies dat model nodig hebt. Reken op ongeveer 6 tok/s per request.
- Kwantiseer naar 4 bits. MXFP4, NVFP4, AWQ of Q4_K_M halveren de bytes per token tegenover FP8 en verdubbelen het plafond ruwweg. De kwaliteitskosten verschillen per formaat; de handleiding over kwantisatiesnelheid vergelijkt ze op deze chip.
- Boven 128 GB: twee gekoppelde Sparks, voor $ 1,79 per uur voor het cluster van twee nodes wanneer de console het aanbiedt. De melding over Qwen3-235B hierboven ging van ongeveer 1,8 tok/s op één Spark naar ongeveer 12,5 op twee. De handleiding voor twee nodes behandelt wat koppelen oplevert.
gpt-oss-120b draaien met llama.cpp
Voor één gebruiker tegelijk is llama.cpp de snellere engine op deze chip. Deploy DGX Spark 1× met de DGX OS-image, open de browserterminal, bouw llama.cpp voor de GB10 (5 tot 10 minuten) en start het model. De buildstappen zijn dezelfde als in mijn llama.cpp-handleiding.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Zodra de log zegt dat de server luistert, meet je je eigen snelheid vanuit een tweede terminal. llama-server geeft bij elk antwoord zijn timings terug:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
De download loopt op de klok, dus start die eerst en lees terwijl hij laadt. Om de server vanaf je laptop te bereiken, gebruik je een SSH-tunnel met je eigen sleutel, of start je hem met --host 0.0.0.0 --api-key en een lange willekeurige sleutel: elke instance heeft een eigen publiek IPv4-adres. Voor meerdere gebruikers tegelijk batcht vLLM beter; de vLLM-handleiding heeft de geheugenberekening voor unified memory.
Grenzen die je eerst moet kennen
- Ik heb gpt-oss-120b niet op mijn vloot gemeten. De cijfers hierboven zijn gemeld, en jouw prompts komen ergens anders uit. Meet voordat je op een getal plant.
- Lange prompts zijn traag op grote dense modellen. Mijn 70B-run las een prompt van 8.192 tokens op 391 tok/s, ongeveer 21 seconden vóór het eerste token.
- Kwantisatie kost kwaliteit. Een 4-bit-model is niet het model op volle precisie. Controleer de antwoorden op je eigen prompts.
- De Spark is ARM64 met een sm_121-GPU. Engines en Python-pakketten hebben er aarch64-builds voor nodig, en een gewone
pip install vllmkan zonder fouten installeren en daarna niet starten; de vLLM-handleiding legt de valkuil uit. - Het draait in een container. Op veel Sparks heeft die een eigen Docker-daemon, zodat arm64-containers van leveranciers draaien; de andere draaien een eenvoudige container zonder Docker, waar de native build hierboven de route is. Je kunt niet kiezen welke.
- Geen SLA en geen back-ups. Modeldownloads buiten
/workspacegaan verloren bij een rebuild, en beëindigen verwijdert alles.
Prijs en waar de Sparks staan
$ 0,79 per uur voor één Spark, per minuut afgeschreven van prepaid tegoed: $ 6,32 voor een werkdag van acht uur. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Een gestopte instance behoudt zijn workspace en wordt gefactureerd tegen 75% van het uurtarief. Beëindig hem als je klaar bent; daarmee stopt de facturering en wordt de workspace verwijderd. Prijzen zijn exclusief btw waar van toepassing.
Mijn eigen Sparks staan in een datacenter in Hradec Králové, Tsjechië. Partner-Sparks, eigendom van partners en door hen gehost op hun eigen locatie, staan in de VS, Zweden, Nederland, Slowakije en Hongkong; een partner heeft fysieke toegang tot zijn machine. De console toont vóór het deployen het land en of het in de EER ligt. Elke locatie biedt de DGX OS- en Ubuntu-images die hierboven worden gebruikt.
Wie dit runt
GPUwerk is nieuw. Het wordt gerund door mij, Samuel Seidel, via PRINT IT! SE, een bedrijf dat in Praag is geregistreerd. Op 9 november 2026 hadden 94 developers sinds september 374 instances gestart. De actuele status staat op status.gpuwerk.com, en via de contactpagina bereik je mij rechtstreeks als je een model wilt controleren voordat je huurt.
FAQ
Kan een DGX Spark een 70B-model draaien?
Ja. Llama 3.3 70B in AWQ 4-bit is ongeveer 37 GiB aan gewichten en past ruim, maar op een van mijn Sparks genereerde het 6,0 tokens per seconde voor één request (vLLM 0.27.1, 2 september 2026). Dat past beter bij batchjobs dan bij chat.
Past gpt-oss-120b op één DGX Spark?
Ja. De MXFP4-gewichten zijn samen 65,2 GB, en het leest ongeveer 5,1B parameters per token. De maintainers van llama.cpp melden 58,7 tok/s voor één request; Dendro Logic meldt 33,5 op vLLM met langere prompts en JSON-uitvoer. Ik heb het niet op mijn vloot gemeten.
En modellen groter dan 128 GB?
Daarvoor zijn twee gekoppelde Sparks nodig. Een build van Qwen3-235B-A22B van 134 GB draaide volgens een melding op het NVIDIA-ontwikkelaarsforum op ongeveer 1,8 tok/s op één Spark en ongeveer 12,5 op twee. Het cluster van twee nodes van GPUwerk kost $ 1,79 per uur wanneer de console het aanbiedt.
Hoeveel kost het om een groot model te proberen?
$ 0,79 per uur voor één Spark, per minuut afgeschreven van prepaid tegoed; de eerste download en de llama.cpp-build lopen op die klok. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed, ongeveer 37 uur. Beëindig de instance als je klaar bent; daarmee stopt de facturering.