Guider för DGX Spark
Sextiofem guider om att köpa, köra och driva en DGX Spark, från GPUwerk, som hyr ut dem. De är grupperade i fem avsnitt: köpa och driva en Spark, modeller och inferensmotorer, prestanda och benchmarks, kluster och skalning och drift. Varje kort visar guidens egen sammanfattning.
Köpa och driva en Spark
Innan du köper, sedan ström, ljud, installation, uppdateringar, lagring och driftkostnader.
Bra att veta innan du köper en DGX Spark
En ärlig köpguide för DGX Spark från ett företag som hyr ut dem: riktiga benchmarks, bandbreddstaket på 273 GB/s, faktiska butikspriser i EU och köpa eller hyra.
Strömförbrukning och driftkostnad för DGX Spark
Uppmätt strömförbrukning för DGX Spark: 22–45 W på tomgång, 60–90 W vid LLM-inferens, cirka 160–200 W vid full last, mot en strömförsörjning på 240 W. Månadskostnad till EU:s elpriser.
Ljudnivå för DGX Spark: 29 dB vid full last, 13 dB på tomgång
NVIDIA anger DGX Spark till 35 dB LWA och 29 dB LpA vid maximal belastning, 19 och 13 dB på tomgång (ECMA-109). Testares mätvärden, kylning och placering.
Installationsguide för DGX Spark: från första uppstart till en serverad modell på en kväll
En snabbstart för DGX Spark från någon som monterar dem i rack varje dag: första uppstarten av DGX OS, SSH med enbart nyckel, val av inferensstack och att servera din första modell till dina verktyg på en kväll.
Drivrutins- och firmwareuppdateringar för DGX Spark: vad GPUwerk hanterar
Vad GPUwerk håller uppdaterat på värd- och nodnivå på en hyrd DGX Spark, och vad som finns i din egen root-container och helt förblir ditt ansvar.
Lagring på DGX Spark: vad som är beständigt och vad du ska säkerhetskopiera
NVMe-disken på 1 TB i en hyrd DGX Spark, exakt vad som finns kvar efter ett stopp respektive ett avslut, och varför det är viktigt att ha en egen säkerhetskopia eftersom GPUwerk inte sparar någon.
Kallstart mot alltid igång: välj ett drifttidsmönster för instansen
Att stoppa en DGX Spark mellan användningarna mot att låta den köra dygnet runt: avvägningarna kring kostnad, latens och data, och hur du avgör vilket mönster som passar den faktiska användningen.
Migrera en befintlig AI-driftsättning i egen drift till en DGX Spark
En praktisk migreringsväg från en arbetsstation eller ett annat GPU-moln till en hyrd DGX Spark: omkvantisering för enhetligt minne, flytt av data och en plan för övergången.
Kostnadsprognos och budgetering för AI-infrastruktur
Hur du uppskattar månadskostnaden för AI-infrastruktur vid egen drift jämfört med ett mätt API, med GPUwerks pris på 0,79 USD/timme som uträknat exempel och en checklista för budgetering.
Total ägandekostnad: GPU-hyra mot ett moln-API för AI
Ett moln-API för AI med pris per token, en hyrd dedikerad DGX Spark för 0,79 USD/timme och att köpa hårdvara direkt, jämförda enbart med siffror som publicerats på den här webbplatsen.
DGX Spark 64GB mot 128GB: hastighet, pris, vad som får plats
DGX Spark 64GB mot 128GB, november 2026: samma GB10 och 273 GB/s, 4 999 USD mot 6 950 USD, cirka 54 GiB användbart. Tabell för 8 modeller med kontext, och vem som säljer den.
Installation av DGX Spark utan skärm
Installation av DGX Spark utan skärm: flödet med Wi-Fi-hotspot, att hitta spark-xxxx.local, Wi-Fi Assistant från oktober 2026, 512 MB reserverat för skärm och cloud-init för många enheter.
Lagring på DGX Spark: 1 TB mot 4 TB och var du ska spara modellerna
Lagring på DGX Spark, 1 TB mot 4 TB: hur många av 14 aktuella modeller som får plats (gpt-oss-120b är 65,3 GB), en delad Hugging Face-cache, hastighet med hf_xet, alternativ med USB-C och NFS.
Guide till återställning av DGX Spark och ominstallation av DGX OS
Återställning av DGX Spark: laga en misslyckad uppdatering utan att radera, säkerhetskopiera från ett live-USB, installera om med återställningsavbildning 1.155.49 (5,9 GB), OEM-avbildningar och när det är dags för RMA.
Programuppdateringar för DGX Spark: versionslogg till oktober 2026
Programuppdateringar för DGX Spark från lanseringen till versionen i oktober 2026: DGX OS 7.6.0, Linux 7.0, drivrutin 580.178.04, kända problem och hur du uppdaterar säkert.
Guide till NVIDIA Sync och fjärråtkomst för DGX Spark
Fjärråtkomst till DGX Spark med NVIDIA Sync 0.148.0-153: vad den installerar, DGX Dashboard på port 11000, Tailscale, en vanlig SSH-konfiguration och säker exponering av API:et.
Modeller och inferensmotorer
Vilka modeller du ska köra, vilken motor du ska servera dem med och hur du mäter resultatet.
Bästa modellerna för DGX Spark, utgåva oktober 2026
Bästa modellerna för DGX Spark, oktober 2026: Qwen3.6-35B-A3B NVFP4 rapporteras ge 86,3 tok/s på en Spark, DeepSeek-V4-Flash cirka 44 tok/s på två. Bedömningstabeller med källor.
llama.cpp mot vLLM mot SGLang på DGX Spark: tok/s och flaggor
vLLM 60,7 mot Ollama 42,1 tok/s för gpt-oss-120b på en DGX Spark, och 116 till 153 mot 42,5 vid 8 användare. Vilken motor för en användare, ett team eller två Sparks, plus exakta flaggor.
Så kör du en nysläppt modell på en DGX Spark (GB10)
Kör en ny modell med öppna vikter på en DGX Spark under lanseringsveckan: minnesutrymme, arm64-avbildningar, NVFP4 eller GGUF, vLLM, SGLang eller llama.cpp, och när den behöver två Sparks.
Servera Qwen3 med vLLM på en DGX Spark
Installera vLLM, servera Qwen3-32B-AWQ med ett OpenAI-kompatibelt API, anslut Open WebUI och håll det igång med systemd: en guide att kopiera och klistra för DGX Spark.
Kvantiserade modeller mot modeller med full precision i produktion
Hur du väljer mellan en kvantiserad modell och en modell med full precision för en produktionsdriftsättning i egen drift: minnesutrymme, kvalitetsrisk per uppgift och när du ska testa båda.
Finjustera en modell på ditt företags data, utan att din data lämnar huset
Finjustera en öppen LLM på företagsdata utan att den lämnar huset: minnestabeller för LoRA och QLoRA, ett uträknat exempel med 32B och finjustering mot RAG.
Köra embeddings och vektorsökning på en DGX Spark
Kör en embeddingmodell och en vektordatabas bredvid din genereringsmodell på en DGX Spark: minnesbudgetering, att servera embeddings och val av vektordatabas.
Köra visions- och multimodala modeller på en DGX Spark
Vad som är rimligt på en DGX Sparks 128 GB enhetliga minne för vision-language-modeller och bildförståelse, och varför GPUwerk inte har publicerat dedikerade VLM-benchmarks ännu.
ComfyUI och Stable Diffusion på en DGX Spark
Kör ComfyUI, FLUX och SDXL på en DGX Spark: installation på ARM64, rapporterade bildtider per modell, konkurrens om enhetligt minne med LLM:er och förbehåll om värme.
Strukturerad utdata och funktionsanrop på en LLM i egen drift
Konfigurera strukturerad utdata i JSON-läge och verktygs-/funktionsanrop på modeller i egen drift med vLLM och llama.cpp, inklusive vilka modeller som stöder det och hur du felsöker felaktiga anrop.
Promptcachning för att sänka inferenskostnaden
Hur återanvändning av prefix- och KV-cache minskar upprepad beräkning i en driftsättning i egen drift: vad som ger en cacheträff, hur du strukturerar prompter för det, och var besparingarna faktiskt syns på en Spark som hyrs per timme.
Batchbearbetning av stora inferensjobb på en hyrd Spark
Kör massbearbetning av dokument och märkning av dataset på en hyrd DGX Spark: inställningar för vLLM-genomströmning, dimensionering av jobb mot timpriset och checkpointing.
Utvärdera modellkvalitet innan du byter modell
Testmängder som hålls undan, A/B-upplägg och regressionskontroller för att benchmarka en kandidatmodell mot din nuvarande innan du byter i produktion.
Så benchmarkar GPUwerk DGX Spark
Vad GPUwerk mäter på en DGX Spark: en ström mot samtidighet, vilka motorer och inställningar, och varför de råa loggarna publiceras, inte bara en sammanfattning.
DGX Spark med lång kontext: tok/s vid 4k till 100k, november 2026
Prestanda med lång kontext på DGX Spark, november 2026: avkodning vid 4k, 50k och 100k för sex modeller, cirka 76 s prefill för 100k tokens och KV-cachestorlekar vid 128k.
Docker och NGC-containrar på DGX Spark: arm64, GPU, compose
Docker-guide för DGX Spark, november 2026: Docker 29.6.2 och Container Toolkit 1.20 förinstallerade, vilka NGC-avbildningar som har arm64-versioner och en compose-fil för vLLM.
LM Studio på DGX Spark: Linux ARM64, llmster, hastighet (2026)
LM Studio på en DGX Spark, november 2026: en Linux ARM64-version med en llama.cpp-motor för CUDA 13 sedan oktober 2025, installation av llmster utan skärm och hastighet jämfört med llama.cpp.
NVIDIA AI Workbench och JupyterLab på DGX Spark
NVIDIA AI Workbench på DGX Spark, november 2026: version 2026.06.5, arm64-basavbildningar med CUDA 13.1, JupyterLab i DGX Dashboard och vanlig JupyterLab 4.6.6.
NIM på DGX Spark: vilka NIM som körs på GB10, licens, installation
NVIDIA NIM på DGX Spark, november 2026: cirka 20 NIM listar stöd för GB10, gratis för utveckling på upp till 16 GPU:er, och produktion kräver en AI Enterprise-licens.
Ollama på DGX Spark: installation, inställningar och tok/s
Ollama på en DGX Spark, november 2026: arm64-installation, de sex inställningar som spelar roll, 42 tok/s på gpt-oss-120b mot 59 för llama.cpp, och säker exponering av API:et.
PyTorch på DGX Spark: aarch64-wheels för CUDA 13
PyTorch på en DGX Spark, november 2026: aarch64-wheels för torch 2.15.0 cu132 eller 2.14.1 cu130, den falska varningen om sm_121, NGC 26.10, status för flash-attn och xformers.
SGLang på DGX Spark: installation, flaggor och tok/s
SGLang på en DGX Spark, november 2026: arm64-avbildning och pip-wheels för v0.5.23, --mem-fraction-static 0.80 på GB10, och 52 mot 36 tok/s jämfört med vLLM på gpt-oss-120b.
Whisper och Parakeet på DGX Spark: tal till text, nov 2026
Tal till text på en DGX Spark, november 2026: Parakeet TDT 0.6B v3 i 283x realtid på GB10, Whisper large-v3 i 19 till 25x, med WER från Open ASR Leaderboard.
TensorRT-LLM på DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM på en DGX Spark, november 2026: NVIDIA:s container 1.3.0rc13, trtllm-serve med NVFP4, 38,65 tok/s på Llama 3.1 8B, och när installationen lönar sig.
Videogenerering på DGX Spark: sekunder per klipp, november 2026
Videogenerering på DGX Spark, november 2026: LTX-2.5-klipp på 5 sekunder på cirka 70 s, Wan 2.2 5B i 720p på 14 min, och varför en RTX 5090 är 2,4 till 5,5x snabbare.
Prestanda och benchmarks
Uppmätt och rapporterad hastighet: användare per Spark, minnesbandbredd, CPU, beräkningskraft, kvantiseringsformat och hur varje GB10-maskin klarar sig under belastning.
Hur många användare kan en DGX Spark betjäna? Data om samtidighet
Hur många användare en DGX Spark betjänar, november 2026: tok/s per användare vid 1 till 256 förfrågningar, cirka 52 chattströmmar i 15 tok/s på en MoE med 3B aktiva, och dimensionering för team.
CPU-prestanda för DGX Spark: GB10-benchmarks mot x86 och M5
CPU-prestanda för DGX Spark, november 2026: GB10 får 3 123 single och 19 708 multi i Geekbench 6 och 675 GFLOPS i HPL, mot Ryzen AI Max+ 395 och M5 Max.
Uppmätt minnesbandbredd för DGX Spark: 273 GB/s mot verkligheten
Uppmätt minnesbandbredd för DGX Spark, november 2026: 234 till 247 GB/s i clpeak, 200 till 213 GB/s i STREAM triad, 38 GB/s per CPU-kärna och avkodning på 73 till 87 %.
Kvantiseringshastighet på DGX Spark: NVFP4 mot FP8 mot AWQ mot GGUF
Snabbaste kvantiseringen på en DGX Spark, november 2026: en modell med 31 tok/s i BF16, 50 till 55 i FP8, 65 till 66 i NVFP4, 81 i AWQ, och när NVFP4 hamnar efter.
Uppmätta TFLOPS för DGX Spark: 1 PFLOP FP4 mot verklig matmul
Uppmätta TFLOPS för DGX Spark, november 2026: 973 till 1 022 gles FP4 i ett mikrobenchmark, 356 i en CUTLASS GEMM, 77 till 99 BF16 uthålligt och vad prefill använder.
Termisk strypning av GB10: uthållig hastighet per OEM (2026)
Termisk strypning av GB10 per tillverkare: fem OEM-maskiner höll sig inom 2,6 % vid vLLM-prefill medan CPU:ns topptemperaturer låg på 74,7 till 90 °C. Firmware är den verkliga risken.
Kluster och skalning
Två Sparks, en maskinpark, flera modeller på en maskin, och att dela den med ett team.
DGX Spark-kluster: två Sparks, installation, begränsningar och tok/s
Två DGX Sparks ger 256 GB och, med tensorparallellism, snabbare avkodning: 1,75× uppmätt på Qwen3-32B, upp till cirka 1,8× rapporterat. Kabeldelar, portnamn, installation, modeller som behöver två Sparks.
Skala från en DGX Spark till en maskinpark
När fler enskilda Sparks slår ett kluster med två noder, hur du lastbalanserar mellan oberoende noder, och avvägningarna i driften av en liten maskinpark.
Hantering av GPU-minne för flera modeller på en Spark
Fördela 128 GB enhetligt minne mellan flera modeller eller containrar på en DGX Spark, och vet när du ska gå över till ett kluster med två noder eller en andra nod i stället.
Övervakning av GPU-användning och rätt dimensionering av din driftsättning
Hur du läser av den faktiska GPU- och minnesanvändningen på en hyrd DGX Spark och använder den för att välja mellan att stanna kvar, skala upp till ett kluster med två noder eller skala ut till en maskinpark.
Köra flera containrar och tjänster på en DGX Spark
Mönster för Docker-containrar på en enskild DGX Spark: när en vanlig docker-compose-fil räcker, och när arbetslasten har vuxit ur den.
Uppdatera eller byta modeller utan driftstopp
En DGX Spark är en enda maskin, så riktiga modelluppdateringar utan driftstopp kräver en andra Spark att växla över till. Så här ser det upplägget ut, och det ärliga alternativet om du kan acceptera ett kort omstartsfönster i stället.
Åtkomst för team och flera användare till en delad DGX Spark
Mönster för att dela en hyrd DGX Spark i ett team: separata Linux-användare med egna SSH-nycklar, eller en gateway framför så att de flesta aldrig behöver ett skal.
DGX Spark-kluster med 4 eller 8 noder: switch, installation, tok/s
DGX Spark-kluster med 4 och 8 noder: NVIDIA-stöd sedan 22 okt 2026, switch och kablar, NCCL-konfiguration, 52,6 tok/s rapporterat vid 8 noder och kostnad mot 8x B200.
Kimi K3 och DeepSeek V4 på DGX Spark-kluster: 1 till 8 noder
Hur många DGX Sparks behöver Kimi K3, DeepSeek V4, GLM-5.3 och MiniMax M3? Minnesberäkning för 1 till 8 noder och rapporterade hastigheter upp till 132 tok/s på 4 Sparks.
Drift
Övervakning, säkerhetskopiering, säkerhet och åtkomstkontroll för en driftsättning i egen drift.
Övervakning och observerbarhet för en LLM i egen drift
Vad du ska bevaka på en enskild DGX Spark som kör en LLM, och vilka verktyg med öppen källkod som gör jobbet, från nvidia-smi till en stack med Prometheus och Grafana. GPUwerk tillhandahåller åtkomst via konsol och API, inte en övervakningsprodukt.
Säkerhetskopiering och katastrofåterställning för din arbetslast på DGX Spark
GPUwerk sparar ingen kopia av en hyrd DGX Sparks arbetsyta. Vad du ska säkerhetskopiera, vart du ska skicka det och hur ofta du ska synkronisera.
Testa din plan för katastrofåterställning för en LLM i egen drift
En säkerhetskopia som du inte har återställt från är en hypotes. Återställningsövningar, game days och mätning av RTO/RPO för en LLM i egen drift på hyrd GPU-hårdvara.
Säkerhetshärdning av en hyrd GPU-instans
Praktisk härdning inuti instansen för en hyrd GPU: hantering av SSH-nycklar, nätverksexponering, att köra tjänster utan root, hemligheter, och flyktigt mot beständigt tillstånd.
Bästa praxis för rotation av API-nycklar i en privat LLM-driftsättning
Rotation av API-nycklar och inloggningsuppgifter för en inferensendpoint i egen drift: behörigheter, rotationsscheman, återkallelse och vad som ska automatiseras respektive göras för hand.
Hastighetsbegränsning och kvoter för en intern LLM-driftsättning
En DGX Spark som den levereras har ingen hastighetsbegränsning per användare. Lägg till det själv med LiteLLM:s rpm/tpm-gränser och budgetar per nyckel, eller med en omvänd proxy framför.
Granskningsloggning för en LLM-driftsättning som du driftar själv med höga krav på regelefterlevnad
Sätt upp granskningsloggar för förfrågningar och svar i din egen container på en hyrd DGX Spark: vad du ska fånga, var du ska lagra det och var GPUwerks ansvar slutar.
Konfigurera SSO och åtkomstkontroll för en LLM-driftsättning för ett team
Att lägga ett autentiseringslager framför en inferensendpoint i egen drift så att ett team loggar in med befintliga identiteter i stället för att dela SSH-nycklar eller API-tokens.
Strategi för modellversionering och återställning i en driftsättning i egen drift
Att hålla koll på vilka modellvikter och konfigurationer som faktiskt körs, och att rulla tillbaka rent när en ny version presterar sämre, i en driftsättning på DGX Spark i egen drift.
För hur Sparken står sig mot andra maskiner, se jämförelserna. För själva hårdvaran, se specifikationssidan.