Guides zur DGX Spark
Fünfundsechzig Guides zu Kauf, Betrieb und Bedienung einer DGX Spark, von GPUwerk, das sie vermietet. Sie sind in fünf Abschnitte gegliedert: eine Spark kaufen und betreiben, Modelle und Inference-Engines, Performance und Benchmarks, Cluster und Skalierung und Betrieb. Jede Karte zeigt die eigene Zusammenfassung des Guides.
Eine Spark kaufen und betreiben
Vor dem Kauf, dann Strom, Lautstärke, Einrichtung, Updates, Speicherplatz und Betriebskosten.
Was Sie vor dem Kauf einer DGX Spark wissen sollten
Ein ehrlicher Kaufratgeber zur DGX Spark von einer Firma, die sie vermietet: echte Benchmarks, die Bandbreitengrenze von 273 GB/s, EU-Straßenpreise und Kaufen vs. Mieten.
Stromverbrauch und Betriebskosten der DGX Spark
Leistungsaufnahme der DGX Spark gemessen: 22–45 W im Leerlauf, 60–90 W bei LLM-Inference, etwa 160–200 W unter Volllast, bei einem 240-W-Netzteil. Monatliche Kosten zu EU-Strompreisen.
Lautstärke der DGX Spark: 29 dB Volllast, 13 dB Leerlauf
NVIDIA gibt für die DGX Spark 35 dB LWA und 29 dB LpA unter Maximallast an, 19 und 13 dB im Leerlauf (ECMA-109). Messwerte von Testern, Kühlung und Aufstellung.
Setup-Guide für die DGX Spark: vom ersten Start zum laufenden Modell an einem Abend
Ein Schnellstart mit der DGX Spark von jemandem, der sie täglich ins Rack baut: erster Start von DGX OS, SSH nur mit Schlüssel, Wahl eines Serving-Stacks und Ihr erstes Modell für Ihre Tools – an einem Abend.
Treiber- und Firmware-Updates der DGX Spark: was GPUwerk verwaltet
Was GPUwerk auf Host- und Node-Ebene einer gemieteten DGX Spark aktuell hält und was in Ihrem eigenen Root-Container liegt und ganz in Ihrer Verantwortung bleibt.
Speicherplatz der DGX Spark: was persistent ist und was Sie sichern sollten
Die 1-TB-NVMe einer gemieteten DGX Spark, genau was ein Stoppen gegenüber einem Beenden übersteht und warum ein eigenes Backup wichtig ist, da GPUwerk keines hält.
Kaltstart vs. Dauerbetrieb: das passende Laufzeitmuster für Ihre Instanz
Eine DGX Spark zwischen Nutzungen stoppen oder rund um die Uhr laufen lassen: die Abwägung von Kosten, Latenz und Daten und wie Sie entscheiden, welches Muster zur tatsächlichen Nutzung passt.
Ein bestehendes selbst gehostetes KI-Deployment auf eine DGX Spark migrieren
Ein praktischer Migrationsweg von einer Workstation oder einer anderen Cloud-GPU zu einer gemieteten DGX Spark: neu quantisieren für Unified Memory, Daten umziehen und ein Plan für die Umstellung.
Kostenprognose und Budgetierung für KI-Infrastruktur
Wie Sie die monatlichen Kosten für KI-Infrastruktur beim Selbsthosten gegenüber einer nutzungsbasierten API schätzen, mit GPUwerks Satz von 0,79 $/Stunde als Rechenbeispiel und einer Budget-Checkliste.
Gesamtbetriebskosten: GPU-Miete vs. Cloud-KI-API
Eine Cloud-KI-API mit Abrechnung pro Token, eine gemietete dedizierte DGX Spark für 0,79 $/Stunde und der Kauf eigener Hardware im Vergleich, ausschließlich mit Zahlen, die auf dieser Website veröffentlicht sind.
DGX Spark 64 GB vs. 128 GB: Tempo, Preis, was passt
DGX Spark 64 GB vs. 128 GB, November 2026: gleicher GB10 und 273 GB/s, 4.999 $ vs. 6.950 $, etwa 54 GiB nutzbar. Übersicht, welche von 8 Modellen samt Kontext hineinpassen, und wer sie verkauft.
DGX Spark ohne Monitor einrichten (headless)
Headless-Setup der DGX Spark: der WLAN-Hotspot-Ablauf, spark-xxxx.local finden, der Wi-Fi Assistant vom Oktober 2026, 512 MB Display-Reserve und cloud-init für viele Geräte.
Speicherplatz der DGX Spark: 1 TB vs. 4 TB und wo Modelle liegen sollten
Speicherplatz der DGX Spark 1 TB vs. 4 TB: wie viele von 14 aktuellen Modellen passen (gpt-oss-120b hat 65,3 GB), ein gemeinsamer Hugging-Face-Cache, hf_xet-Tempo, USB-C- und NFS-Optionen.
DGX Spark: Guide zu Wiederherstellung und DGX-OS-Neuinstallation
Wiederherstellung der DGX Spark: ein fehlgeschlagenes Update ohne Löschen reparieren, von einem Live-USB sichern, mit Recovery-Image 1.155.49 (5,9 GB) neu installieren, OEM-Images, und wann ein RMA fällig ist.
Software-Updates für die DGX Spark: Release-Log bis Oktober 2026
Software-Updates für die DGX Spark vom Marktstart bis zum Release im Oktober 2026: DGX OS 7.6.0, Linux 7.0, Treiber 580.178.04, die bekannten Probleme und wie Sie sicher aktualisieren.
DGX Spark: Guide zu NVIDIA Sync und Fernzugriff
Fernzugriff auf die DGX Spark mit NVIDIA Sync 0.148.0-153: was es installiert, das DGX Dashboard auf Port 11000, Tailscale, eine einfache SSH-Konfiguration und eine sichere Freigabe der API.
Modelle und Inference-Engines
Welche Modelle Sie ausführen, mit welcher Engine Sie sie ausliefern und wie Sie das Ergebnis messen.
Die besten Modelle für die DGX Spark, Ausgabe Oktober 2026
Die besten Modelle für die DGX Spark, Oktober 2026: Qwen3.6-35B-A3B NVFP4 mit berichteten 86,3 tok/s auf einer Spark, DeepSeek-V4-Flash mit etwa 44 tok/s auf zwei. Bewertungstabellen mit Quellen.
llama.cpp vs. vLLM vs. SGLang auf der DGX Spark: tok/s und Flags
vLLM 60,7 vs. Ollama 42,1 tok/s für gpt-oss-120b auf einer DGX Spark und 116 bis 153 vs. 42,5 bei 8 Nutzern. Welche Engine für einen Nutzer, ein Team oder zwei Sparks, dazu die genauen Flags.
So führen Sie ein neu veröffentlichtes Modell auf einer DGX Spark (GB10) aus
Ein neues Open-Weight-Modell in der Release-Woche auf einer DGX Spark ausführen: Speicherbedarf, arm64-Images, NVFP4 oder GGUF, vLLM, SGLang oder llama.cpp, und wann es zwei Sparks braucht.
Qwen3 mit vLLM auf einer DGX Spark ausliefern
vLLM installieren, Qwen3-32B-AWQ mit einer OpenAI-kompatiblen API bereitstellen, Open WebUI anbinden und mit systemd am Laufen halten: ein Guide zum Kopieren und Einfügen für die DGX Spark.
Quantisierte Modelle vs. Modelle in voller Präzision im Produktivbetrieb
Quantisiertes Modell oder volle Präzision im Produktivbetrieb: Speicherbedarf, Qualitätsrisiko je Aufgabe und wann Sie beide testen sollten.
Ein Modell auf den Daten Ihres Unternehmens feintunen, ohne dass Ihre Daten das Haus verlassen
Ein offenes LLM auf Firmendaten feintunen, ohne dass sie das Haus verlassen: Speichertabellen für LoRA und QLoRA, ein durchgerechnetes 32B-Beispiel und Fine-Tuning vs. RAG.
Embeddings und Vektorsuche auf einer DGX Spark
Ein Embedding-Modell und eine Vektordatenbank neben Ihrem Generierungsmodell auf einer DGX Spark betreiben: Speicherbudget, Embeddings ausliefern und einen Vektorspeicher wählen.
Vision- und multimodale Modelle auf einer DGX Spark ausführen
Was mit den 128 GB Unified Memory einer DGX Spark für Vision-Language-Modelle und Bildverständnis plausibel ist und warum GPUwerk noch keine eigenen VLM-Benchmarks veröffentlicht hat.
ComfyUI und Stable Diffusion auf einer DGX Spark
ComfyUI, FLUX und SDXL auf einer DGX Spark: Setup auf ARM64, berichtete Bildzeiten pro Modell, Konkurrenz um Unified Memory mit LLMs und thermische Einschränkungen.
Strukturierte Ausgabe und Function Calling bei einem selbst gehosteten LLM
JSON-Modus und Tool-/Function-Calling bei selbst gehosteten Modellen mit vLLM und llama.cpp einrichten: welche Modelle das können und wie Sie fehlerhafte Aufrufe debuggen.
Prompt-Caching, um Inference-Kosten zu senken
Wie Präfix- und KV-Cache wiederholte Berechnungen sparen: was als Cache-Treffer zählt, wie Sie Prompts dafür bauen und wo sich das auf einer stundenweise gemieteten Spark zeigt.
Große Inference-Jobs im Batch auf einer gemieteten Spark verarbeiten
Massenverarbeitung von Dokumenten und Labeling von Datensätzen auf einer gemieteten DGX Spark: vLLM-Durchsatzeinstellungen, Dimensionierung der Jobs im Verhältnis zum Stundensatz und Checkpointing.
Modellqualität vor dem Modellwechsel bewerten
Holdout-Testsets, A/B-Ansätze und Regressionsprüfungen, um ein Kandidatenmodell vor dem Wechsel in der Produktion mit Ihrem aktuellen zu vergleichen.
Wie GPUwerk die DGX Spark benchmarkt
Was GPUwerk auf einer DGX Spark misst: Single-Stream gegenüber Parallelität, welche Engines und Einstellungen, und warum die Roh-Logs veröffentlicht werden, nicht nur eine Zusammenfassung.
DGX Spark mit langem Kontext: tok/s bei 4k bis 100k, November 2026
Leistung der DGX Spark bei langem Kontext, November 2026: Decode bei 4k, 50k und 100k für sechs Modelle, etwa 76 s Prefill für 100k Tokens und KV-Cache-Größen bei 128k.
Docker und NGC-Container auf der DGX Spark: arm64, GPU, Compose
Docker-Guide für die DGX Spark, November 2026: Docker 29.6.2 und Container Toolkit 1.20 vorinstalliert, welche NGC-Images arm64-Builds haben, und eine vLLM-Compose-Datei.
LM Studio auf der DGX Spark: Linux ARM64, llmster, Tempo (2026)
LM Studio auf einer DGX Spark, November 2026: ein Linux-ARM64-Build mit CUDA-13-llama.cpp-Engine seit Oktober 2025, headless Setup mit llmster und Tempo im Vergleich zu llama.cpp.
NVIDIA AI Workbench und JupyterLab auf der DGX Spark
NVIDIA AI Workbench auf der DGX Spark, November 2026: Release 2026.06.5, arm64-Basis-Images mit CUDA 13.1, das JupyterLab im DGX Dashboard und einfaches JupyterLab 4.6.6.
NIM auf der DGX Spark: welche NIMs auf GB10 laufen, Lizenz, Setup
NVIDIA NIM auf der DGX Spark, November 2026: etwa 20 NIMs nennen GB10-Unterstützung, kostenlos für die Entwicklung auf bis zu 16 GPUs, und der Produktivbetrieb braucht eine AI-Enterprise-Lizenz.
Ollama auf der DGX Spark: Setup, Einstellungen und tok/s
Ollama auf einer DGX Spark, November 2026: arm64-Installation, die sechs Einstellungen, auf die es ankommt, 42 tok/s bei gpt-oss-120b gegenüber 59 bei llama.cpp und eine sichere Freigabe der API.
PyTorch auf der DGX Spark: CUDA-13-Wheels für aarch64
PyTorch auf einer DGX Spark, November 2026: aarch64-Wheels torch 2.15.0 cu132 oder 2.14.1 cu130, die falsche sm_121-Warnung, NGC 26.10, Stand von flash-attn und xformers.
SGLang auf der DGX Spark: Installation, Flags und tok/s
SGLang auf einer DGX Spark, November 2026: arm64-Image v0.5.23 und pip-Wheels, --mem-fraction-static 0.80 auf GB10 und 52 vs. 36 tok/s gegenüber vLLM bei gpt-oss-120b.
Whisper und Parakeet auf der DGX Spark: Spracherkennung, Nov. 2026
Spracherkennung auf einer DGX Spark, November 2026: Parakeet TDT 0.6B v3 mit 283-facher Echtzeit auf GB10, Whisper large-v3 mit 19- bis 25-facher, mit WER aus dem Open ASR Leaderboard.
TensorRT-LLM auf der DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM auf einer DGX Spark, November 2026: NVIDIAs Container 1.3.0rc13, trtllm-serve mit NVFP4, 38,65 tok/s bei Llama 3.1 8B, und wann sich das Setup lohnt.
Videogenerierung auf der DGX Spark: Sekunden pro Clip, November 2026
Videogenerierung auf der DGX Spark, November 2026: LTX-2.5-Clips von 5 Sekunden in etwa 70 s, Wan 2.2 5B 720p in 14 Min., und warum eine RTX 5090 2,4- bis 5,5-mal schneller ist.
Performance und Benchmarks
Gemessenes und berichtetes Tempo: Nutzer pro Spark, Speicherbandbreite, CPU, Rechenleistung, Quantisierungsformate und wie sich jede GB10-Maschine unter Last hält.
Wie viele Nutzer kann eine DGX Spark bedienen? Daten zur Parallelität
Wie viele Nutzer eine DGX Spark bedient, November 2026: tok/s pro Nutzer bei 1 bis 256 Anfragen, etwa 52 Chat-Streams mit 15 tok/s bei einem MoE mit 3B aktiven Parametern und Teamgrößen.
CPU-Leistung der DGX Spark: GB10-Benchmarks vs. x86 und M5
CPU-Leistung der DGX Spark, November 2026: GB10 erreicht 3.123 Single- und 19.708 Multi-Core in Geekbench 6 und 675 GFLOPS in HPL, im Vergleich zu Ryzen AI Max+ 395 und M5 Max.
Speicherbandbreite der DGX Spark gemessen: 273 GB/s vs. Realität
Speicherbandbreite der DGX Spark gemessen, November 2026: 234 bis 247 GB/s in clpeak, 200 bis 213 GB/s STREAM Triad, 38 GB/s pro CPU-Kern und Decode bei 73 bis 87 %.
DGX Spark: Quantisierung und Tempo, NVFP4 vs. FP8 vs. AWQ vs. GGUF
Schnellste Quantisierung auf einer DGX Spark, November 2026: ein Modell mit 31 tok/s in BF16, 50 bis 55 in FP8, 65 bis 66 in NVFP4, 81 in AWQ, und wann NVFP4 zurückfällt.
TFLOPS der DGX Spark gemessen: 1 PFLOP FP4 vs. echte Matmul
TFLOPS der DGX Spark gemessen, November 2026: 973 bis 1.022 Sparse-FP4 in einem Microbenchmark, 356 in einem CUTLASS-GEMM, 77 bis 99 BF16 dauerhaft, und was Prefill nutzt.
Thermisches Throttling der GB10: Dauerleistung nach OEM (2026)
Thermisches Throttling der GB10 nach Hersteller: Fünf OEM-Geräte blieben beim vLLM-Prefill innerhalb von 2,6 %, während die CPU-Spitzentemperaturen bei 74,7 bis 90 °C lagen. Das eigentliche Risiko ist die Firmware.
Cluster und Skalierung
Zwei Sparks, eine Flotte, mehrere Modelle auf einer Maschine und das Teilen mit einem Team.
DGX Spark im Cluster: zwei Sparks, Setup, Grenzen und tok/s
Zwei DGX Sparks bieten 256 GB und mit Tensor-Parallelität schnelleres Decoding: 1,75× gemessen bei Qwen3-32B, bis etwa 1,8× berichtet. Kabelteile, Portnamen, Setup, Modelle, die zwei Sparks brauchen.
Von einer DGX Spark zur Flotte skalieren
Wann mehr einzelne Sparks einen Cluster aus zwei Nodes schlagen, wie Sie die Last auf unabhängige Nodes verteilen und was der Betrieb einer kleinen Flotte mit sich bringt.
GPU-Speicherverwaltung für mehrere Modelle auf einer Spark
Teilen Sie 128 GB Unified Memory auf mehrere Modelle oder Container auf einer DGX Spark auf, und erkennen Sie, wann Sie stattdessen auf einen Cluster aus zwei Nodes oder einen zweiten Node wechseln sollten.
GPU-Auslastung überwachen und Ihr Deployment richtig dimensionieren
Wie Sie die tatsächliche GPU- und Speicherauslastung auf einer gemieteten DGX Spark ablesen und damit entscheiden, ob Sie bleiben, auf einen Cluster aus zwei Nodes hochskalieren oder auf eine Flotte ausweiten.
Mehrere Container und Dienste auf einer DGX Spark betreiben
Docker-Container-Muster für eine einzelne DGX Spark: wann eine einfache docker-compose-Datei genügt und wann der Workload ihr entwachsen ist.
Modelle ohne Ausfallzeit aktualisieren oder austauschen
Eine DGX Spark ist eine einzelne Maschine; Modell-Updates ganz ohne Ausfallzeit brauchen eine zweite Spark. Was dieses Setup umfasst, und die ehrliche Alternative mit kurzem Neustartfenster.
Zugang für Teams und mehrere Nutzer auf einer gemeinsamen DGX Spark
Muster, um eine gemietete DGX Spark im Team zu teilen: separate Linux-Benutzer mit eigenen SSH-Schlüsseln oder ein vorgeschaltetes Gateway, sodass die meisten nie eine Shell brauchen.
Cluster aus DGX Sparks mit 4 oder 8 Nodes: Switch, Setup, tok/s
Cluster aus DGX Sparks mit 4 und 8 Nodes: NVIDIA-Unterstützung seit 22. Okt. 2026, Switch und Kabel, NCCL-Setup, 52,6 tok/s berichtet bei 8 Nodes und Kosten im Vergleich zu 8x B200.
Kimi K3 und DeepSeek V4 auf Clustern aus DGX Sparks: 1 bis 8 Nodes
Wie viele DGX Sparks brauchen Kimi K3, DeepSeek V4, GLM-5.3 und MiniMax M3? Speicherrechnung für 1 bis 8 Nodes und berichtete Geschwindigkeiten bis 132 tok/s auf 4 Sparks.
Betrieb
Monitoring, Backups, Sicherheit und Zugriffskontrolle für ein selbst gehostetes Deployment.
Monitoring und Observability für ein selbst gehostetes LLM
Was Sie auf einer DGX Spark mit einem LLM überwachen sollten und welche Open-Source-Tools das können, von nvidia-smi bis Prometheus und Grafana. GPUwerk liefert Konsole und API, kein Monitoring-Produkt.
Backup und Disaster Recovery für Ihren Workload auf der DGX Spark
GPUwerk hält keine Kopie des Workspace einer gemieteten DGX Spark. Was Sie sichern sollten, wohin Sie es senden und wie oft Sie synchronisieren.
Ihren Disaster-Recovery-Plan für ein selbst gehostetes LLM testen
Ein Backup, aus dem Sie nie wiederhergestellt haben, ist eine Hypothese. Restore-Übungen, Game Days und RTO/RPO-Messung für ein selbst gehostetes LLM auf gemieteter GPU-Hardware.
Sicherheitshärtung einer gemieteten GPU-Instanz
Praktische Härtung innerhalb der Instanz für eine gemietete GPU: Verwaltung von SSH-Schlüsseln, Netzwerkfreigaben, Dienste ohne root betreiben, Secrets sowie flüchtiger vs. persistenter Zustand.
Best Practices zur API-Schlüsselrotation für ein privates LLM-Deployment
API-Schlüssel und Zugangsdaten für einen selbst gehosteten Inference-Endpoint rotieren: Scopes, Rotationspläne, Widerruf und was Sie automatisieren statt von Hand erledigen sollten.
Rate Limiting und Kontingente für ein internes LLM-Deployment
Eine DGX Spark bringt von Haus aus kein Rate Limiting pro Nutzer mit. Ergänzen Sie es selbst mit LiteLLMs rpm/tpm-Limits und Budgets pro Schlüssel oder mit einem vorgeschalteten Reverse Proxy.
Audit-Logging für ein compliance-sensibles, selbst gehostetes LLM-Deployment
Richten Sie Audit-Logs für Anfragen und Antworten in Ihrem eigenen Container auf einer gemieteten DGX Spark ein: was Sie erfassen, wo Sie es speichern und wo GPUwerks Aufgabe endet.
SSO und Zugriffskontrolle für ein Team-LLM-Deployment einrichten
Eine Authentifizierungsschicht vor einen selbst gehosteten Inference-Endpoint setzen, damit sich ein Team mit vorhandenen Identitäten anmeldet, statt SSH-Schlüssel oder API-Tokens zu teilen.
Strategie für Modellversionierung und Rollback in einem selbst gehosteten Deployment
Nachverfolgen, welche Modellgewichte und Konfigurationen tatsächlich laufen, und sauber zurückrollen, wenn eine neue Version schwächer ist, in einem selbst gehosteten Deployment auf einer DGX Spark.
Wie die Spark im Vergleich zu anderen Maschinen abschneidet, zeigen die Vergleiche. Zur Hardware selbst siehe die Datenseite.