Handleidingen voor de DGX Spark
Vijfenzestig handleidingen over het kopen, gebruiken en beheren van een DGX Spark, van GPUwerk, dat ze verhuurt. Ze zijn gegroepeerd in vijf onderdelen: een Spark kopen en gebruiken, modellen en inference-engines, prestaties en benchmarks, clusters en schalen, en beheer. Elke kaart toont de eigen samenvatting van de handleiding.
Een Spark kopen en gebruiken
Voordat je koopt, en daarna stroom, geluid, installatie, updates, opslag en bedrijfskosten.
Wat je moet weten voordat je een DGX Spark koopt
Een eerlijke koopgids voor de DGX Spark van een bedrijf dat ze verhuurt: echte benchmarks, het bandbreedteplafond van 273 GB/s, EU-winkelprijzen en kopen vs huren.
Stroomverbruik en bedrijfskosten van de DGX Spark
Stroomverbruik van de DGX Spark, gemeten: 22-45 W in rust, 60-90 W tijdens LLM-inference, ongeveer 160-200 W bij volle belasting, tegenover een voeding van 240 W. Maandkosten bij Europese stroomprijzen.
Geluid van de DGX Spark: 29 dB bij volle belasting, 13 dB in rust
NVIDIA geeft voor de DGX Spark 35 dB LWA en 29 dB LpA op bij maximale belasting, 19 en 13 dB in rust (ECMA-109). Metingen van reviewers, koeling en plaatsing.
Installatiehandleiding voor de DGX Spark: van eerste boot tot een geserveerd model in één avond
Een snelstart voor de DGX Spark van iemand die ze dagelijks in racks zet: eerste boot van DGX OS, SSH alleen met sleutels, een serving-stack kiezen en je eerste model in één avond aan je tools serveren.
Driver- en firmware-updates van de DGX Spark: wat GPUwerk beheert
Wat GPUwerk op host- en nodeniveau van een gehuurde DGX Spark actueel houdt, en wat binnen je eigen root-container staat en volledig je eigen verantwoordelijkheid blijft.
Opslag op de DGX Spark: wat blijft bewaard en waarvan je een back-up maakt
De 1 TB NVMe op een gehuurde DGX Spark, precies wat een stop tegenover een beëindiging overleeft, en waarom een eigen back-up ertoe doet, omdat GPUwerk er geen bewaart.
Koude start vs altijd aan: een uptimepatroon voor je instance kiezen
Een DGX Spark stoppen tussen gebruik door vs hem de klok rond laten draaien: de afwegingen voor kosten, latentie en data, en hoe je beslist welk patroon bij het werkelijke gebruik past.
Een bestaande self-hosted AI-deployment migreren naar een DGX Spark
Een praktisch migratiepad van een workstation of een andere cloud-GPU naar een gehuurde DGX Spark: opnieuw kwantiseren voor unified memory, data verhuizen en een overstapplan.
Kostenprognose en budgettering voor AI-infrastructuur
Hoe je de maandelijkse uitgaven aan AI-infrastructuur inschat voor zelf hosten vs een API op basis van verbruik, met het tarief van $ 0,79/uur van GPUwerk als uitgewerkt voorbeeld en een checklist voor budgettering.
Totale eigendomskosten: GPU-huur vs een cloud-AI-API
Een cloud-AI-API met betaling per token, een gehuurde dedicated DGX Spark voor $ 0,79/uur en zelf hardware kopen, vergeleken op basis van alleen cijfers die op deze site zijn gepubliceerd.
DGX Spark 64GB vs 128GB: snelheid, prijs, wat past
DGX Spark 64GB vs 128GB, november 2026: dezelfde GB10 en 273 GB/s, $ 4.999 vs $ 6,950, ongeveer 54 GiB bruikbaar. Tabel met wat erop past voor 8 modellen, en wie hem verkoopt.
Headless opzet van de DGX Spark zonder monitor
Headless opzet van de DGX Spark: de wifi-hotspotprocedure, spark-xxxx.local vinden, de Wi-Fi Assistant van oktober 2026, 512 MB reserve voor het beeldscherm, en cloud-init voor veel machines.
Opslag op de DGX Spark: 1 TB vs 4 TB en waar je modellen bewaart
Opslag op de DGX Spark, 1 TB vs 4 TB: hoeveel van 14 actuele modellen passen (gpt-oss-120b is 65,3 GB), één gedeelde Hugging Face-cache, snelheid van hf_xet, opties met USB-C en NFS.
Handleiding voor recovery van de DGX Spark en herinstallatie van DGX OS
Recovery van de DGX Spark: een mislukte update herstellen zonder te wissen, een back-up maken vanaf een live-USB, herinstalleren met recovery-image 1.155.49 (5,9 GB), OEM-images, en wanneer je een RMA aanvraagt.
Software-updates van de DGX Spark: releaselog tot oktober 2026
Software-updates van de DGX Spark vanaf de introductie tot de release van oktober 2026: DGX OS 7.6.0, Linux 7.0, driver 580.178.04, de bekende problemen en hoe je veilig bijwerkt.
Handleiding voor NVIDIA Sync en toegang op afstand bij de DGX Spark
Toegang op afstand tot de DGX Spark met NVIDIA Sync 0.148.0-153: wat het installeert, het DGX Dashboard op poort 11000, Tailscale, een eenvoudige SSH-config en een API veilig openstellen.
Modellen en inference-engines
Welke modellen je draait, met welke engine je ze serveert, en hoe je het resultaat meet.
Beste modellen voor de DGX Spark, editie oktober 2026
Beste modellen voor de DGX Spark, oktober 2026: Qwen3.6-35B-A3B NVFP4 gemeld op 86,3 tok/s op één Spark, DeepSeek-V4-Flash op ongeveer 44 tok/s op twee. Oordeeltabellen met bronnen.
llama.cpp vs vLLM vs SGLang op de DGX Spark: tok/s en flags
vLLM 60,7 vs Ollama 42,1 tok/s voor gpt-oss-120b op één DGX Spark, en 116 tot 153 vs 42,5 bij 8 gebruikers. Welke engine voor één gebruiker, een team of twee Sparks, plus exacte flags.
Zo draai je een net uitgebracht model op een DGX Spark (GB10)
Draai een nieuw open-weight-model op een DGX Spark in de releaseweek: past het in het geheugen, arm64-images, NVFP4 of GGUF, vLLM, SGLang of llama.cpp, en wanneer het twee Sparks nodig heeft.
Qwen3 serveren met vLLM op een DGX Spark
Installeer vLLM, serveer Qwen3-32B-AWQ met een OpenAI-compatibele API, koppel Open WebUI en houd het draaiende met systemd: een kopieer-en-plakhandleiding voor de DGX Spark.
Gekwantiseerde modellen vs modellen op volle precisie in productie
Hoe je kiest tussen een gekwantiseerd model en een model op volle precisie voor een self-hosted productiedeployment: past het in het geheugen, kwaliteitsrisico per taak, en wanneer je beide test.
Fine-tune een model op de data van je bedrijf, zonder dat je data het gebouw verlaat
Fine-tune een open LLM op bedrijfsdata zonder dat die het gebouw verlaat: geheugentabellen voor LoRA en QLoRA, een uitgewerkt voorbeeld met 32B, en fine-tuning vs RAG.
Embeddings en vector search draaien op een DGX Spark
Draai een embeddingmodel en een vectordatabase naast je generatiemodel op één DGX Spark: geheugenbudget, embeddings serveren en een vectorstore kiezen.
Vision- en multimodale modellen draaien op een DGX Spark
Wat aannemelijk is op de 128 GB unified memory van een DGX Spark voor vision-language-modellen en beeldbegrip, en waarom GPUwerk nog geen specifieke VLM-benchmarks heeft gepubliceerd.
ComfyUI en Stable Diffusion op een DGX Spark
Draai ComfyUI, FLUX en SDXL op een DGX Spark: opzet op ARM64, gemelde beeldtijden per model, concurrentie om unified memory met LLM's, en kanttekeningen over temperatuur.
Gestructureerde uitvoer en function calling op een self-hosted LLM
Gestructureerde uitvoer in JSON-modus en tool/function calling opzetten op self-hosted modellen met vLLM en llama.cpp, inclusief welke modellen het ondersteunen en hoe je misvormde aanroepen debugt.
Prompt caching om de kosten van inference te verlagen
Hoe hergebruik van prefix- en KV-cache herhaald rekenwerk vermindert bij een self-hosted deployment: wat in aanmerking komt voor een cache-hit, hoe je prompts daarvoor opbouwt, en waar de besparing echt zichtbaar wordt op een Spark die per uur wordt gehuurd.
Grote inference-jobs in batch verwerken op een gehuurde Spark
Voer grootschalige documentverwerking en het labelen van datasets uit op een gehuurde DGX Spark: instellingen voor vLLM-doorvoer, jobs dimensioneren tegenover het uurtarief, en checkpointing.
Modelkwaliteit beoordelen voordat je van model wisselt
Holdout-testsets, A/B-benaderingen en regressiecontroles om een kandidaatmodel te benchmarken tegen je huidige model voordat je in productie overstapt.
Hoe GPUwerk de DGX Spark benchmarkt
Wat GPUwerk meet op een DGX Spark: één stream tegenover gelijktijdigheid, welke engines en instellingen, en waarom de ruwe logs worden gepubliceerd, niet alleen een samenvatting.
DGX Spark met lange context: tok/s bij 4k tot 100k, november 2026
Prestaties van de DGX Spark bij lange context, november 2026: decode bij 4k, 50k en 100k voor zes modellen, ongeveer 76 s prefill voor 100k tokens, en KV-cachegroottes bij 128k.
Docker en NGC-containers op de DGX Spark: arm64, GPU, compose
Docker-handleiding voor de DGX Spark, november 2026: Docker 29.6.2 en Container Toolkit 1.20 voorgeïnstalleerd, welke NGC-images arm64-builds hebben, en een compose-bestand voor vLLM.
LM Studio op de DGX Spark: Linux ARM64, llmster, snelheid (2026)
LM Studio op een DGX Spark, november 2026: een Linux ARM64-build met een CUDA 13-llama.cpp-engine sinds oktober 2025, headless opzet met llmster, en snelheid vs llama.cpp.
NVIDIA AI Workbench en JupyterLab op de DGX Spark
NVIDIA AI Workbench op de DGX Spark, november 2026: release 2026.06.5, arm64-basisimages met CUDA 13.1, de JupyterLab van het DGX Dashboard en gewone JupyterLab 4.6.6.
NIM op de DGX Spark: welke NIM's draaien op GB10, licentie, opzet
NVIDIA NIM op de DGX Spark, november 2026: ongeveer 20 NIM's vermelden ondersteuning voor GB10, gratis voor ontwikkeling op maximaal 16 GPU's, en productie vereist een AI Enterprise-licentie.
Ollama op de DGX Spark: opzet, instellingen en tok/s
Ollama op een DGX Spark, november 2026: installatie op arm64, de zes instellingen die ertoe doen, 42 tok/s op gpt-oss-120b tegenover 59 voor llama.cpp, en een API veilig openstellen.
PyTorch op de DGX Spark: aarch64-wheels voor CUDA 13
PyTorch op een DGX Spark, november 2026: aarch64-wheels van torch 2.15.0 cu132 of 2.14.1 cu130, de onterechte waarschuwing over sm_121, NGC 26.10, en de status van flash-attn en xformers.
SGLang op de DGX Spark: installatie, flags en tok/s
SGLang op een DGX Spark, november 2026: arm64-image en pip-wheels van v0.5.23, --mem-fraction-static 0.80 op GB10, en 52 vs 36 tok/s tegenover vLLM op gpt-oss-120b.
Whisper en Parakeet op de DGX Spark: spraak naar tekst, nov 2026
Spraak naar tekst op een DGX Spark, november 2026: Parakeet TDT 0.6B v3 op 283x realtime op GB10, Whisper large-v3 op 19 tot 25x, met WER van de Open ASR Leaderboard.
TensorRT-LLM op de DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM op een DGX Spark, november 2026: de 1.3.0rc13-container van NVIDIA, trtllm-serve met NVFP4, 38,65 tok/s op Llama 3.1 8B, en wanneer de opzet loont.
Videogeneratie op de DGX Spark: seconden per clip, november 2026
Videogeneratie op de DGX Spark, november 2026: clips van 5 seconden met LTX-2.5 in ongeveer 70 s, Wan 2.2 5B in 720p in 14 min, en waarom een RTX 5090 2,4 tot 5,5x sneller is.
Prestaties en benchmarks
Gemeten en gemelde snelheid: gebruikers per Spark, geheugenbandbreedte, CPU, rekenkracht, kwantisatieformaten en hoe elke GB10-machine zich onder belasting houdt.
Hoeveel gebruikers kan een DGX Spark bedienen? Data over gelijktijdigheid
Hoeveel gebruikers één DGX Spark bedient, november 2026: tok/s per gebruiker bij 1 tot 256 requests, ongeveer 52 chatstreams op 15 tok/s bij een MoE met 3B actief, en teamgrootte.
CPU-prestaties van de DGX Spark: GB10-benchmarks vs x86 en M5
CPU-prestaties van de DGX Spark, november 2026: de GB10 scoort 3.123 single-core en 19.708 multi-core in Geekbench 6 en 675 GFLOPS in HPL, tegenover Ryzen AI Max+ 395 en M5 Max.
Geheugenbandbreedte van de DGX Spark gemeten: 273 GB/s vs de praktijk
Geheugenbandbreedte van de DGX Spark gemeten, november 2026: 234 tot 247 GB/s in clpeak, 200 tot 213 GB/s STREAM triad, 38 GB/s per CPU-core, en decode op 73 tot 87%.
Snelheid van kwantisatie op de DGX Spark: NVFP4 vs FP8 vs AWQ vs GGUF
Snelste kwantisatie op een DGX Spark, november 2026: één model op 31 tok/s in BF16, 50 tot 55 in FP8, 65 tot 66 in NVFP4, 81 in AWQ, en wanneer NVFP4 achterblijft.
TFLOPS van de DGX Spark gemeten: 1 PFLOP FP4 vs echte matmul
TFLOPS van de DGX Spark gemeten, november 2026: 973 tot 1.022 sparse FP4 in een microbenchmark, 356 in een CUTLASS-GEMM, 77 tot 99 BF16 aanhoudend, en wat prefill gebruikt.
Thermische throttling van de GB10: aanhoudende snelheid per OEM (2026)
Thermische throttling van de GB10 per fabrikant: vijf OEM-machines bleven binnen 2,6% bij vLLM-prefill, terwijl de piektemperaturen van de CPU 74,7 tot 90 °C bereikten. Firmware is het echte risico.
Clusters en schalen
Twee Sparks, een vloot, meerdere modellen op één machine, en hem delen met een team.
DGX Spark-cluster: twee Sparks, opzet, grenzen en tok/s
Twee DGX Sparks geven 256 GB en, met tensorparallellisme, snellere decode: 1,75× gemeten op Qwen3-32B, tot ongeveer 1,8× gemeld. Kabelonderdelen, poortnamen, opzet, modellen die twee Sparks nodig hebben.
Opschalen van één DGX Spark naar een vloot
Wanneer meer losse Sparks huren beter is dan een cluster van twee nodes, hoe je de belasting over onafhankelijke nodes verdeelt, en de operationele afwegingen van een kleine vloot.
GPU-geheugenbeheer voor meerdere modellen op één Spark
Verdeel 128 GB unified memory over meerdere modellen of containers op één DGX Spark, en weet wanneer je beter overstapt op een cluster van twee nodes of een tweede node.
GPU-benutting monitoren en je deployment op de juiste omvang brengen
Hoe je de werkelijke GPU- en geheugenbenutting op een gehuurde DGX Spark afleest en die gebruikt om te kiezen tussen blijven, opschalen naar een cluster van twee nodes of uitbreiden naar een vloot.
Meerdere containers en diensten draaien op een DGX Spark
Patronen voor Docker-containers op één DGX Spark: wanneer een eenvoudig docker-compose-bestand volstaat, en wanneer de workload daar te groot voor is geworden.
Modellen bijwerken of wisselen zonder downtime
Een DGX Spark is één machine, dus echte modelupdates zonder downtime vereisen een tweede Spark om naar over te schakelen. Dit komt er bij die opzet kijken, plus het eerlijke alternatief als je een kort herstartvenster accepteert.
Toegang voor teams en meerdere gebruikers tot een gedeelde DGX Spark
Patronen om één gehuurde DGX Spark binnen een team te delen: aparte Linux-gebruikers met hun eigen SSH-sleutels, of een gateway ervoor zodat de meeste mensen nooit een shell nodig hebben.
DGX Spark-cluster met 4 of 8 nodes: switch, opzet, tok/s
DGX Spark-clusters van 4 en 8 nodes: ondersteuning door NVIDIA sinds 22 okt 2026, de switch en kabels, NCCL-opzet, 52,6 tok/s gemeld bij 8 nodes, en kosten vs 8x B200.
Kimi K3 en DeepSeek V4 op DGX Spark-clusters: 1 tot 8 nodes
Hoeveel DGX Sparks hebben Kimi K3, DeepSeek V4, GLM-5.3 en MiniMax M3 nodig? Geheugenberekening voor 1 tot 8 nodes en gemelde snelheden tot 132 tok/s op 4 Sparks.
Beheer
Monitoring, back-ups, beveiliging en toegangsbeheer voor een self-hosted deployment.
Monitoring en observability voor een self-hosted LLM
Waar je op let bij één DGX Spark die een LLM draait, en welke open-sourcetools dat doen, van nvidia-smi tot een stack met Prometheus en Grafana. GPUwerk biedt toegang via console en API, geen monitoringproduct.
Back-up en disaster recovery voor je DGX Spark-workload
GPUwerk bewaart geen kopie van de workspace van een gehuurde DGX Spark. Waarvan je een back-up maakt, waar je die naartoe stuurt en hoe vaak je synchroniseert.
Je disaster-recoveryplan testen voor een self-hosted LLM
Een back-up waaruit je nooit hebt hersteld, is een hypothese. Hersteloefeningen, game days en het meten van RTO/RPO voor een self-hosted LLM op gehuurde GPU-hardware.
Een gehuurde GPU-instance beveiligen
Praktische beveiliging binnen de instance voor een gehuurde GPU: beheer van SSH-sleutels, blootstelling aan het netwerk, diensten zonder root draaien, secrets, en tijdelijke vs blijvende status.
Best practices voor rotatie van API-sleutels bij een privé-LLM-deployment
API-sleutels en inloggegevens roteren voor een self-hosted inference-endpoint: scope, rotatieschema's, intrekken, en wat je automatiseert tegenover wat je met de hand doet.
Rate limiting en quota voor een interne LLM-deployment
Een kale DGX Spark heeft geen rate limiting per gebruiker. Voeg die zelf toe met de rpm/tpm-limieten en budgetten per sleutel van LiteLLM, of met een reverse proxy ervoor.
Audit logging voor een compliancegevoelige self-hosted LLM-deployment
Zet auditlogs voor requests en responses op in je eigen container op een gehuurde DGX Spark: wat je vastlegt, waar je het opslaat en waar de taak van GPUwerk ophoudt.
SSO en toegangsbeheer opzetten voor een LLM-deployment voor een team
Een authenticatielaag voor een self-hosted inference-endpoint zetten, zodat een team met bestaande identiteiten inlogt in plaats van SSH-sleutels of API-tokens te delen.
Strategie voor modelversiebeheer en rollback bij een self-hosted deployment
Bijhouden welke modelgewichten en configuraties er echt draaien, en netjes terugdraaien als een nieuwe versie tegenvalt, bij een self-hosted deployment op een DGX Spark.
Hoe de Spark zich verhoudt tot andere machines, zie je bij de vergelijkingen. Voor de hardware zelf, zie de specspagina.