Guider for DGX Spark
Sekstifem guider om å kjøpe, kjøre og drive en DGX Spark, fra GPUwerk, som leier dem ut. De er gruppert i fem deler: kjøpe og drive en Spark, modeller og inferensmotorer, ytelse og benchmarker, klynger og skalering, og drift. Hvert kort viser guidens eget sammendrag.
Kjøpe og drive en Spark
Før du kjøper, deretter strøm, støy, oppsett, oppdateringer, lagring og driftskostnader.
Hva du bør vite før du kjøper en DGX Spark
En ærlig kjøpsguide for DGX Spark fra et selskap som leier dem ut: ekte benchmarker, båndbreddetaket på 273 GB/s, gatepriser i EU, og kjøpe eller leie.
Strømforbruk og driftskostnad for DGX Spark
Strømforbruket til DGX Spark, målt: 22–45 W på tomgang, 60–90 W under LLM-inferens, omtrent 160–200 W ved full belastning, mot en strømforsyning på 240 W. Månedskostnad med europeiske strømpriser.
Støy fra DGX Spark: 29 dB ved full belastning, 13 dB på tomgang
NVIDIA oppgir DGX Spark til 35 dB LWA og 29 dB LpA ved maksimal belastning, 19 og 13 dB på tomgang (ECMA-109). Testernes målinger, kjøling og plassering.
Oppsettguide for DGX Spark: fra første oppstart til en servert modell på én kveld
En hurtigstart for DGX Spark fra en som monterer dem i rack hver dag: første oppstart av DGX OS, SSH bare med nøkkel, valg av inferensstack og å få din første modell i drift til verktøyene dine på én kveld.
Driver- og fastvareoppdateringer for DGX Spark: hva GPUwerk håndterer
Hva GPUwerk holder oppdatert på verts- og nodenivå på en leid DGX Spark, og hva som ligger i din egen root-container og helt og holdent er ditt ansvar.
Lagring på DGX Spark: hva som er varig og hva du bør sikkerhetskopiere
1 TB NVMe på en leid DGX Spark, nøyaktig hva som overlever en stopp sammenlignet med en avslutning, og hvorfor det er viktig å ta din egen sikkerhetskopi når GPUwerk ikke har noen.
Kaldstart mot alltid på: velg et oppetidsmønster for instansen
Stoppe en DGX Spark mellom øktene mot å la den kjøre døgnet rundt: avveiningene mellom kostnad, svartid og data, og hvordan du avgjør hvilket mønster som passer den faktiske bruken.
Migrering av en eksisterende selvdriftet AI-installasjon til en DGX Spark
En praktisk migreringsvei fra en arbeidsstasjon eller en annen sky-GPU til en leid DGX Spark: ny kvantisering for enhetlig minne, flytting av data og en plan for overgangen.
Kostnadsprognoser og budsjettering for AI-infrastruktur
Slik anslår du månedlige utgifter til AI-infrastruktur ved egen drift mot et målt API, med GPUwerks pris på 0 $,79/time som gjennomregnet eksempel og en sjekkliste for budsjettering.
Totale eierkostnader: GPU-leie mot et AI-API i skyen
Et sky-API for AI med betaling per token, en leid dedikert DGX Spark for 0 $,79/time og kjøp av egen maskinvare, sammenlignet bare med tall som er publisert på dette nettstedet.
DGX Spark 64GB mot 128GB: hastighet, pris, hva som får plass
DGX Spark 64GB mot 128GB, november 2026: samme GB10 og 273 GB/s, 4 $ 999 mot 6 $ 950, omtrent 54 GiB brukbart. Tabell over hva som får plass for 8 modeller med kontekst, og hvem som selger den.
Oppsett av DGX Spark uten skjerm
Oppsett av DGX Spark uten skjerm: flyten med Wi-Fi-hotspot, hvordan du finner spark-xxxx.local, Wi-Fi Assistant fra oktober 2026, 512 MB skjermreserve og cloud-init for mange enheter.
Lagring på DGX Spark: 1 TB mot 4 TB og hvor du bør lagre modeller
Lagring på DGX Spark, 1 TB mot 4 TB: hvor mange av 14 aktuelle modeller som får plass (gpt-oss-120b er 65,3 GB), én delt Hugging Face-cache, hastighet med hf_xet, og alternativer med USB-C og NFS.
Guide til gjenoppretting av DGX Spark og reinstallasjon av DGX OS
Gjenoppretting av DGX Spark: reparer en mislykket oppdatering uten å slette, ta sikkerhetskopi fra en live-USB, reinstaller med gjenopprettingsimage 1.155.49 (5,9 GB), OEM-images, og når du bør be om RMA.
Programvareoppdateringer for DGX Spark: utgivelseslogg til oktober 2026
Programvareoppdateringer for DGX Spark fra lansering til utgivelsen i oktober 2026: DGX OS 7.6.0, Linux 7.0, driver 580.178.04, kjente problemer, og hvordan du oppdaterer trygt.
Guide til NVIDIA Sync og fjerntilgang for DGX Spark
Fjerntilgang til DGX Spark med NVIDIA Sync 0.148.0-153: hva det installerer, DGX Dashboard på port 11000, Tailscale, en enkel SSH-konfigurasjon og trygg eksponering av API-er.
Modeller og inferensmotorer
Hvilke modeller du bør kjøre, hvilken motor du bør servere dem med, og hvordan du måler resultatet.
Beste modeller for DGX Spark, utgave oktober 2026
Beste modeller for DGX Spark, oktober 2026: Qwen3.6-35B-A3B NVFP4 rapportert til 86,3 tok/s på én Spark, DeepSeek-V4-Flash til omtrent 44 tok/s på to. Konklusjonstabeller med kilder.
llama.cpp mot vLLM mot SGLang på DGX Spark: tok/s og flagg
vLLM 60,7 mot Ollama 42,1 tok/s for gpt-oss-120b på én DGX Spark, og 116 til 153 mot 42,5 ved 8 brukere. Hvilken motor for én bruker, et team eller to Spark-maskiner, pluss nøyaktige flagg.
Slik kjører du en nylig lansert modell på en DGX Spark (GB10)
Kjør en ny modell med åpne vekter på en DGX Spark i lanseringsuken: om minnet strekker til, arm64-images, NVFP4 eller GGUF, vLLM, SGLang eller llama.cpp, og når den trenger to Spark-maskiner.
Server Qwen3 med vLLM på en DGX Spark
Installer vLLM, server Qwen3-32B-AWQ med et OpenAI-kompatibelt API, koble til Open WebUI og hold det i gang med systemd: en kopier-og-lim-inn-guide for DGX Spark.
Kvantiserte modeller mot modeller med full presisjon i produksjon
Slik velger du mellom en kvantisert modell og en modell med full presisjon i en selvdriftet produksjonsinstallasjon: om minnet strekker til, kvalitetsrisiko etter oppgave, og når du bør teste begge.
Finjuster en modell på selskapets data, uten at dataene forlater huset
Finjuster en åpen LLM på selskapsdata uten at de forlater huset: minnetabeller for LoRA og QLoRA, et gjennomregnet eksempel med 32B, og finjustering mot RAG.
Embeddinger og vektorsøk på en DGX Spark
Kjør en embedding-modell og en vektordatabase ved siden av genereringsmodellen på én DGX Spark: budsjettering av minne, kjøring av embeddinger og valg av vektorlager.
Kjøre bilde- og multimodale modeller på en DGX Spark
Hva som er realistisk på de 128 GB enhetlig minne i en DGX Spark for bilde-språk-modeller og bildeforståelse, og hvorfor GPUwerk ennå ikke har publisert egne VLM-benchmarker.
ComfyUI og Stable Diffusion på en DGX Spark
Kjør ComfyUI, FLUX og SDXL på en DGX Spark: oppsett på ARM64, rapporterte bildetider per modell, konkurranse om enhetlig minne med LLM-er, og forbehold om temperatur.
Strukturert utdata og funksjonskall på en selvdriftet LLM
Oppsett av strukturert utdata i JSON-modus og verktøy-/funksjonskall på selvdriftede modeller med vLLM og llama.cpp, inkludert hvilke modeller som støtter det og hvordan du feilsøker ugyldige kall.
Prompt-caching for å redusere inferenskostnadene
Slik reduserer gjenbruk av prefiks- og KV-cache gjentatt beregning i en selvdriftet installasjon: hva som gir cachetreff, hvordan du strukturerer prompter for det, og hvor besparelsene faktisk viser seg på en Spark leid per time.
Batchbehandling av store inferensjobber på en leid Spark
Kjør massebehandling av dokumenter og merking av datasett på en leid DGX Spark: innstillinger for gjennomstrømning i vLLM, dimensjonering av jobber mot timeprisen, og checkpointing.
Vurdering av modellkvalitet før du bytter modell
Holdout-testsett, A/B-tilnærminger og regresjonssjekker for å benchmarke en kandidatmodell mot den nåværende før du bytter i produksjon.
Slik benchmarker GPUwerk DGX Spark
Hva GPUwerk måler på en DGX Spark: én strøm mot samtidighet, hvilke motorer og innstillinger, og hvorfor råloggene publiseres, ikke bare et sammendrag.
DGX Spark med lang kontekst: tok/s fra 4k til 100k, november 2026
Ytelse med lang kontekst på DGX Spark, november 2026: dekoding ved 4k, 50k og 100k for seks modeller, omtrent 76 s prefill for 100k tokens, og KV-cache-størrelser ved 128k.
Docker og NGC-containere på DGX Spark: arm64, GPU, compose
Docker-guide for DGX Spark, november 2026: Docker 29.6.2 og Container Toolkit 1.20 forhåndsinstallert, hvilke NGC-images som har arm64-builds, og en compose-fil for vLLM.
LM Studio på DGX Spark: Linux ARM64, llmster, hastighet (2026)
LM Studio på en DGX Spark, november 2026: en Linux ARM64-build med en CUDA 13 llama.cpp-motor siden oktober 2025, oppsett av llmster uten skjerm, og hastighet mot llama.cpp.
NVIDIA AI Workbench og JupyterLab på DGX Spark
NVIDIA AI Workbench på DGX Spark, november 2026: utgivelse 2026.06.5, arm64-basisimages med CUDA 13.1, JupyterLab i DGX Dashboard og vanlig JupyterLab 4.6.6.
NIM på DGX Spark: hvilke NIM-er som kjører på GB10, lisens, oppsett
NVIDIA NIM på DGX Spark, november 2026: omtrent 20 NIM-er oppgir støtte for GB10, gratis for utvikling på opptil 16 GPU-er, og produksjon krever en AI Enterprise-lisens.
Ollama på DGX Spark: oppsett, innstillinger og tok/s
Ollama på en DGX Spark, november 2026: arm64-installasjon, de seks innstillingene som betyr noe, 42 tok/s på gpt-oss-120b mot 59 for llama.cpp, og trygg eksponering av API-et.
PyTorch på DGX Spark: CUDA 13 aarch64-wheels
PyTorch på en DGX Spark, november 2026: aarch64-wheels for torch 2.15.0 cu132 eller 2.14.1 cu130, den falske sm_121-advarselen, NGC 26.10, og status for flash-attn og xformers.
SGLang på DGX Spark: installasjon, flagg og tok/s
SGLang på en DGX Spark, november 2026: arm64-image og pip-wheels for v0.5.23, --mem-fraction-static 0.80 på GB10, og 52 mot 36 tok/s mot vLLM på gpt-oss-120b.
Whisper og Parakeet på DGX Spark: tale til tekst, nov. 2026
Tale til tekst på en DGX Spark, november 2026: Parakeet TDT 0.6B v3 på 283x sanntid på GB10, Whisper large-v3 på 19 til 25x, med WER fra Open ASR Leaderboard.
TensorRT-LLM på DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM på en DGX Spark, november 2026: NVIDIAs container 1.3.0rc13, trtllm-serve med NVFP4, 38,65 tok/s på Llama 3.1 8B, og når oppsettet lønner seg.
Videogenerering på DGX Spark: sekunder per klipp, november 2026
Videogenerering på DGX Spark, november 2026: LTX-2.5-klipp på 5 sekunder på omtrent 70 s, Wan 2.2 5B 720p på 14 min, og hvorfor en RTX 5090 er 2,4 til 5,5 ganger raskere.
Ytelse og benchmarker
Målt og rapportert hastighet: brukere per Spark, minnebåndbredde, CPU, regnekraft, kvantiseringsformater og hvordan hver GB10-maskin holder seg under belastning.
Hvor mange brukere kan en DGX Spark betjene? Data om samtidighet
Hvor mange brukere én DGX Spark betjener, november 2026: tok/s per bruker ved 1 til 256 forespørsler, omtrent 52 chattestrømmer på 15 tok/s på en MoE med 3B aktive, og dimensjonering for team.
CPU-ytelse i DGX Spark: GB10-benchmarker mot x86 og M5
CPU-ytelse i DGX Spark, november 2026: GB10 får 3 123 på én kjerne og 19 708 på flere i Geekbench 6 og 675 GFLOPS i HPL, mot Ryzen AI Max+ 395 og M5 Max.
Minnebåndbredden i DGX Spark målt: 273 GB/s mot virkeligheten
Minnebåndbredden i DGX Spark målt, november 2026: 234 til 247 GB/s i clpeak, 200 til 213 GB/s i STREAM triad, 38 GB/s per CPU-kjerne, og dekoding på 73 til 87 %.
Kvantiseringshastighet på DGX Spark: NVFP4 mot FP8 mot AWQ mot GGUF
Raskeste kvantisering på en DGX Spark, november 2026: én modell på 31 tok/s i BF16, 50 til 55 i FP8, 65 til 66 i NVFP4, 81 i AWQ, og når NVFP4 faller bak.
TFLOPS i DGX Spark målt: 1 PFLOP FP4 mot ekte matrisemultiplikasjon
TFLOPS i DGX Spark målt, november 2026: 973 til 1 022 sparse FP4 i en mikrobenchmark, 356 i en CUTLASS GEMM, 77 til 99 BF16 vedvarende, og hva prefill bruker.
Termisk struping av GB10: vedvarende hastighet etter OEM (2026)
Termisk struping av GB10 etter produsent: fem OEM-bokser holdt seg innenfor 2,6 % på vLLM-prefill mens høyeste CPU-temperatur lå på 74,7 til 90 °C. Fastvaren er den egentlige risikoen.
Klynger og skalering
To Spark-maskiner, en flåte, flere modeller på én maskin, og deling med et team.
DGX Spark-klynge: to Spark-maskiner, oppsett, begrensninger og tok/s
To DGX Spark-maskiner gir 256 GB og, med tensorparallellisme, raskere dekoding: 1,75× målt på Qwen3-32B, opptil omtrent 1,8× rapportert. Kabeldeler, portnavn, oppsett, modeller som trenger to Spark-maskiner.
Skalering fra én DGX Spark til en flåte
Når det lønner seg å leie flere enkeltstående Spark-maskiner fremfor en klynge med to noder, hvordan du fordeler last mellom uavhengige noder, og de driftsmessige avveiningene ved å drive en liten flåte.
Håndtering av GPU-minne for flere modeller på én Spark
Fordel 128 GB enhetlig minne mellom flere modeller eller containere på én DGX Spark, og vit når du heller bør gå over til en klynge med to noder eller en ekstra node.
Overvåking av GPU-utnyttelse og riktig dimensjonering av installasjonen
Slik leser du faktisk GPU- og minneutnyttelse på en leid DGX Spark og bruker det til å avgjøre om du skal bli der du er, skalere opp til en klynge med to noder, eller skalere ut til en flåte.
Kjøre flere containere og tjenester på en DGX Spark
Mønstre for Docker-containere på én DGX Spark: når en enkel docker-compose-fil er nok, og når arbeidslasten har vokst fra den.
Oppdatere eller bytte modeller uten nedetid
En DGX Spark er én enkelt maskin, så ekte modelloppdateringer uten nedetid krever en ekstra Spark å bytte over til. Her er hva det oppsettet innebærer, og det ærlige alternativet hvis du godtar et kort omstartsvindu i stedet.
Tilgang for team og flere brukere til en delt DGX Spark
Mønstre for å dele én leid DGX Spark i et team: separate Linux-brukere med egne SSH-nøkler, eller en gateway foran så de fleste aldri trenger et skall.
DGX Spark-klynge med 4 eller 8 noder: svitsj, oppsett, tok/s
DGX Spark-klynger med 4 og 8 noder: NVIDIA-støtte siden 22. okt. 2026, svitsjen og kablene, NCCL-oppsett, 52,6 tok/s rapportert ved 8 noder, og kostnad mot 8x B200.
Kimi K3 og DeepSeek V4 på DGX Spark-klynger: 1 til 8 noder
Hvor mange DGX Spark-maskiner trenger Kimi K3, DeepSeek V4, GLM-5.3 og MiniMax M3? Minneregnestykket for 1 til 8 noder og rapporterte hastigheter på opptil 132 tok/s på 4 Spark-maskiner.
Drift
Overvåking, sikkerhetskopiering, sikkerhet og tilgangskontroll for en selvdriftet installasjon.
Overvåking og observerbarhet for en selvdriftet LLM
Hva du bør overvåke på én DGX Spark som kjører en LLM, og hvilke åpne kildekodeverktøy som gjør jobben, fra nvidia-smi til en stack med Prometheus og Grafana. GPUwerk tilbyr tilgang via konsoll og API, ikke et overvåkingsprodukt.
Sikkerhetskopiering og katastrofegjenoppretting for arbeidslasten på DGX Spark-en din
GPUwerk har ingen kopi av arbeidsområdet på en leid DGX Spark. Hva du bør sikkerhetskopiere, hvor du skal sende det, og hvor ofte du bør synkronisere.
Testing av planen for katastrofegjenoppretting for en selvdriftet LLM
En sikkerhetskopi du ikke har gjenopprettet fra, er en hypotese. Gjenopprettingsøvelser, beredskapsøvelser og måling av RTO/RPO for en selvdriftet LLM på leid GPU-maskinvare.
Sikkerhetsherding av en leid GPU-instans
Praktisk herding inne i instansen for en leid GPU: håndtering av SSH-nøkler, nettverkseksponering, kjøring av tjenester uten root, hemmeligheter, og flyktig mot varig tilstand.
Beste praksis for rotasjon av API-nøkler i en privat LLM-installasjon
Rotasjon av API-nøkler og legitimasjon for et selvdriftet inferensendepunkt: kartlegging, rotasjonsplaner, tilbakekalling, og hva som bør automatiseres og hva som bør gjøres manuelt.
Ratebegrensning og kvoter for en intern LLM-installasjon
En rå DGX Spark har ingen hastighetsbegrensning per bruker. Legg den til selv med LiteLLMs rpm/tpm-grenser og budsjetter per nøkkel, eller med en omvendt proxy foran.
Revisjonslogging for en selvdriftet LLM-installasjon med strenge krav til regeletterlevelse
Sett opp revisjonslogger for forespørsler og svar i din egen container på en leid DGX Spark: hva du bør fange opp, hvor du bør lagre det, og hvor GPUwerks ansvar slutter.
Oppsett av SSO og tilgangskontroll for en LLM-installasjon for et team
Sette et autentiseringslag foran et selvdriftet inferensendepunkt slik at et team logger inn med eksisterende identiteter i stedet for å dele SSH-nøkler eller API-tokens.
Strategi for modellversjonering og tilbakerulling i en selvdriftet installasjon
Holde oversikt over hvilke modellvekter og konfigurasjoner som faktisk kjører, og rulle rent tilbake når en ny versjon yter dårligere, i en selvdriftet DGX Spark-installasjon.
Hvordan Spark-maskinen står seg mot andre maskiner, ser du i sammenligningene. For selve maskinvaren, se spesifikasjonssiden.