DGX Spark/Guides
Guides

Guides zur DGX Spark

Von Samuel Seidel · Aktualisiert am 7. November 2026

Fünfundsechzig Guides zu Kauf, Betrieb und Bedienung einer DGX Spark, von GPUwerk, das sie vermietet. Sie sind in fünf Abschnitte gegliedert: eine Spark kaufen und betreiben, Modelle und Inference-Engines, Performance und Benchmarks, Cluster und Skalierung und Betrieb. Jede Karte zeigt die eigene Zusammenfassung des Guides.

Eine Spark kaufen und betreiben

Vor dem Kauf, dann Strom, Lautstärke, Einrichtung, Updates, Speicherplatz und Betriebskosten.

Was Sie vor dem Kauf einer DGX Spark wissen sollten

Ein ehrlicher Kaufratgeber zur DGX Spark von einer Firma, die sie vermietet: echte Benchmarks, die Bandbreitengrenze von 273 GB/s, EU-Straßenpreise und Kaufen vs. Mieten.

Stromverbrauch und Betriebskosten der DGX Spark

Leistungsaufnahme der DGX Spark gemessen: 22–45 W im Leerlauf, 60–90 W bei LLM-Inference, etwa 160–200 W unter Volllast, bei einem 240-W-Netzteil. Monatliche Kosten zu EU-Strompreisen.

Lautstärke der DGX Spark: 29 dB Volllast, 13 dB Leerlauf

NVIDIA gibt für die DGX Spark 35 dB LWA und 29 dB LpA unter Maximallast an, 19 und 13 dB im Leerlauf (ECMA-109). Messwerte von Testern, Kühlung und Aufstellung.

Setup-Guide für die DGX Spark: vom ersten Start zum laufenden Modell an einem Abend

Ein Schnellstart mit der DGX Spark von jemandem, der sie täglich ins Rack baut: erster Start von DGX OS, SSH nur mit Schlüssel, Wahl eines Serving-Stacks und Ihr erstes Modell für Ihre Tools – an einem Abend.

Treiber- und Firmware-Updates der DGX Spark: was GPUwerk verwaltet

Was GPUwerk auf Host- und Node-Ebene einer gemieteten DGX Spark aktuell hält und was in Ihrem eigenen Root-Container liegt und ganz in Ihrer Verantwortung bleibt.

Speicherplatz der DGX Spark: was persistent ist und was Sie sichern sollten

Die 1-TB-NVMe einer gemieteten DGX Spark, genau was ein Stoppen gegenüber einem Beenden übersteht und warum ein eigenes Backup wichtig ist, da GPUwerk keines hält.

Kaltstart vs. Dauerbetrieb: das passende Laufzeitmuster für Ihre Instanz

Eine DGX Spark zwischen Nutzungen stoppen oder rund um die Uhr laufen lassen: die Abwägung von Kosten, Latenz und Daten und wie Sie entscheiden, welches Muster zur tatsächlichen Nutzung passt.

Ein bestehendes selbst gehostetes KI-Deployment auf eine DGX Spark migrieren

Ein praktischer Migrationsweg von einer Workstation oder einer anderen Cloud-GPU zu einer gemieteten DGX Spark: neu quantisieren für Unified Memory, Daten umziehen und ein Plan für die Umstellung.

Kostenprognose und Budgetierung für KI-Infrastruktur

Wie Sie die monatlichen Kosten für KI-Infrastruktur beim Selbsthosten gegenüber einer nutzungsbasierten API schätzen, mit GPUwerks Satz von 0,79 $/Stunde als Rechenbeispiel und einer Budget-Checkliste.

Gesamtbetriebskosten: GPU-Miete vs. Cloud-KI-API

Eine Cloud-KI-API mit Abrechnung pro Token, eine gemietete dedizierte DGX Spark für 0,79 $/Stunde und der Kauf eigener Hardware im Vergleich, ausschließlich mit Zahlen, die auf dieser Website veröffentlicht sind.

DGX Spark 64 GB vs. 128 GB: Tempo, Preis, was passt

DGX Spark 64 GB vs. 128 GB, November 2026: gleicher GB10 und 273 GB/s, 4.999 $ vs. 6.950 $, etwa 54 GiB nutzbar. Übersicht, welche von 8 Modellen samt Kontext hineinpassen, und wer sie verkauft.

DGX Spark ohne Monitor einrichten (headless)

Headless-Setup der DGX Spark: der WLAN-Hotspot-Ablauf, spark-xxxx.local finden, der Wi-Fi Assistant vom Oktober 2026, 512 MB Display-Reserve und cloud-init für viele Geräte.

Speicherplatz der DGX Spark: 1 TB vs. 4 TB und wo Modelle liegen sollten

Speicherplatz der DGX Spark 1 TB vs. 4 TB: wie viele von 14 aktuellen Modellen passen (gpt-oss-120b hat 65,3 GB), ein gemeinsamer Hugging-Face-Cache, hf_xet-Tempo, USB-C- und NFS-Optionen.

DGX Spark: Guide zu Wiederherstellung und DGX-OS-Neuinstallation

Wiederherstellung der DGX Spark: ein fehlgeschlagenes Update ohne Löschen reparieren, von einem Live-USB sichern, mit Recovery-Image 1.155.49 (5,9 GB) neu installieren, OEM-Images, und wann ein RMA fällig ist.

Software-Updates für die DGX Spark: Release-Log bis Oktober 2026

Software-Updates für die DGX Spark vom Marktstart bis zum Release im Oktober 2026: DGX OS 7.6.0, Linux 7.0, Treiber 580.178.04, die bekannten Probleme und wie Sie sicher aktualisieren.

DGX Spark: Guide zu NVIDIA Sync und Fernzugriff

Fernzugriff auf die DGX Spark mit NVIDIA Sync 0.148.0-153: was es installiert, das DGX Dashboard auf Port 11000, Tailscale, eine einfache SSH-Konfiguration und eine sichere Freigabe der API.

Modelle und Inference-Engines

Welche Modelle Sie ausführen, mit welcher Engine Sie sie ausliefern und wie Sie das Ergebnis messen.

Die besten Modelle für die DGX Spark, Ausgabe Oktober 2026

Die besten Modelle für die DGX Spark, Oktober 2026: Qwen3.6-35B-A3B NVFP4 mit berichteten 86,3 tok/s auf einer Spark, DeepSeek-V4-Flash mit etwa 44 tok/s auf zwei. Bewertungstabellen mit Quellen.

llama.cpp vs. vLLM vs. SGLang auf der DGX Spark: tok/s und Flags

vLLM 60,7 vs. Ollama 42,1 tok/s für gpt-oss-120b auf einer DGX Spark und 116 bis 153 vs. 42,5 bei 8 Nutzern. Welche Engine für einen Nutzer, ein Team oder zwei Sparks, dazu die genauen Flags.

So führen Sie ein neu veröffentlichtes Modell auf einer DGX Spark (GB10) aus

Ein neues Open-Weight-Modell in der Release-Woche auf einer DGX Spark ausführen: Speicherbedarf, arm64-Images, NVFP4 oder GGUF, vLLM, SGLang oder llama.cpp, und wann es zwei Sparks braucht.

Qwen3 mit vLLM auf einer DGX Spark ausliefern

vLLM installieren, Qwen3-32B-AWQ mit einer OpenAI-kompatiblen API bereitstellen, Open WebUI anbinden und mit systemd am Laufen halten: ein Guide zum Kopieren und Einfügen für die DGX Spark.

Quantisierte Modelle vs. Modelle in voller Präzision im Produktivbetrieb

Quantisiertes Modell oder volle Präzision im Produktivbetrieb: Speicherbedarf, Qualitätsrisiko je Aufgabe und wann Sie beide testen sollten.

Ein Modell auf den Daten Ihres Unternehmens feintunen, ohne dass Ihre Daten das Haus verlassen

Ein offenes LLM auf Firmendaten feintunen, ohne dass sie das Haus verlassen: Speichertabellen für LoRA und QLoRA, ein durchgerechnetes 32B-Beispiel und Fine-Tuning vs. RAG.

Embeddings und Vektorsuche auf einer DGX Spark

Ein Embedding-Modell und eine Vektordatenbank neben Ihrem Generierungsmodell auf einer DGX Spark betreiben: Speicherbudget, Embeddings ausliefern und einen Vektorspeicher wählen.

Vision- und multimodale Modelle auf einer DGX Spark ausführen

Was mit den 128 GB Unified Memory einer DGX Spark für Vision-Language-Modelle und Bildverständnis plausibel ist und warum GPUwerk noch keine eigenen VLM-Benchmarks veröffentlicht hat.

ComfyUI und Stable Diffusion auf einer DGX Spark

ComfyUI, FLUX und SDXL auf einer DGX Spark: Setup auf ARM64, berichtete Bildzeiten pro Modell, Konkurrenz um Unified Memory mit LLMs und thermische Einschränkungen.

Strukturierte Ausgabe und Function Calling bei einem selbst gehosteten LLM

JSON-Modus und Tool-/Function-Calling bei selbst gehosteten Modellen mit vLLM und llama.cpp einrichten: welche Modelle das können und wie Sie fehlerhafte Aufrufe debuggen.

Prompt-Caching, um Inference-Kosten zu senken

Wie Präfix- und KV-Cache wiederholte Berechnungen sparen: was als Cache-Treffer zählt, wie Sie Prompts dafür bauen und wo sich das auf einer stundenweise gemieteten Spark zeigt.

Große Inference-Jobs im Batch auf einer gemieteten Spark verarbeiten

Massenverarbeitung von Dokumenten und Labeling von Datensätzen auf einer gemieteten DGX Spark: vLLM-Durchsatzeinstellungen, Dimensionierung der Jobs im Verhältnis zum Stundensatz und Checkpointing.

Modellqualität vor dem Modellwechsel bewerten

Holdout-Testsets, A/B-Ansätze und Regressionsprüfungen, um ein Kandidatenmodell vor dem Wechsel in der Produktion mit Ihrem aktuellen zu vergleichen.

Wie GPUwerk die DGX Spark benchmarkt

Was GPUwerk auf einer DGX Spark misst: Single-Stream gegenüber Parallelität, welche Engines und Einstellungen, und warum die Roh-Logs veröffentlicht werden, nicht nur eine Zusammenfassung.

DGX Spark mit langem Kontext: tok/s bei 4k bis 100k, November 2026

Leistung der DGX Spark bei langem Kontext, November 2026: Decode bei 4k, 50k und 100k für sechs Modelle, etwa 76 s Prefill für 100k Tokens und KV-Cache-Größen bei 128k.

Docker und NGC-Container auf der DGX Spark: arm64, GPU, Compose

Docker-Guide für die DGX Spark, November 2026: Docker 29.6.2 und Container Toolkit 1.20 vorinstalliert, welche NGC-Images arm64-Builds haben, und eine vLLM-Compose-Datei.

LM Studio auf der DGX Spark: Linux ARM64, llmster, Tempo (2026)

LM Studio auf einer DGX Spark, November 2026: ein Linux-ARM64-Build mit CUDA-13-llama.cpp-Engine seit Oktober 2025, headless Setup mit llmster und Tempo im Vergleich zu llama.cpp.

NVIDIA AI Workbench und JupyterLab auf der DGX Spark

NVIDIA AI Workbench auf der DGX Spark, November 2026: Release 2026.06.5, arm64-Basis-Images mit CUDA 13.1, das JupyterLab im DGX Dashboard und einfaches JupyterLab 4.6.6.

NIM auf der DGX Spark: welche NIMs auf GB10 laufen, Lizenz, Setup

NVIDIA NIM auf der DGX Spark, November 2026: etwa 20 NIMs nennen GB10-Unterstützung, kostenlos für die Entwicklung auf bis zu 16 GPUs, und der Produktivbetrieb braucht eine AI-Enterprise-Lizenz.

Ollama auf der DGX Spark: Setup, Einstellungen und tok/s

Ollama auf einer DGX Spark, November 2026: arm64-Installation, die sechs Einstellungen, auf die es ankommt, 42 tok/s bei gpt-oss-120b gegenüber 59 bei llama.cpp und eine sichere Freigabe der API.

PyTorch auf der DGX Spark: CUDA-13-Wheels für aarch64

PyTorch auf einer DGX Spark, November 2026: aarch64-Wheels torch 2.15.0 cu132 oder 2.14.1 cu130, die falsche sm_121-Warnung, NGC 26.10, Stand von flash-attn und xformers.

SGLang auf der DGX Spark: Installation, Flags und tok/s

SGLang auf einer DGX Spark, November 2026: arm64-Image v0.5.23 und pip-Wheels, --mem-fraction-static 0.80 auf GB10 und 52 vs. 36 tok/s gegenüber vLLM bei gpt-oss-120b.

Whisper und Parakeet auf der DGX Spark: Spracherkennung, Nov. 2026

Spracherkennung auf einer DGX Spark, November 2026: Parakeet TDT 0.6B v3 mit 283-facher Echtzeit auf GB10, Whisper large-v3 mit 19- bis 25-facher, mit WER aus dem Open ASR Leaderboard.

TensorRT-LLM auf der DGX Spark: trtllm-serve, NVFP4, tok/s (2026)

TensorRT-LLM auf einer DGX Spark, November 2026: NVIDIAs Container 1.3.0rc13, trtllm-serve mit NVFP4, 38,65 tok/s bei Llama 3.1 8B, und wann sich das Setup lohnt.

Videogenerierung auf der DGX Spark: Sekunden pro Clip, November 2026

Videogenerierung auf der DGX Spark, November 2026: LTX-2.5-Clips von 5 Sekunden in etwa 70 s, Wan 2.2 5B 720p in 14 Min., und warum eine RTX 5090 2,4- bis 5,5-mal schneller ist.

Performance und Benchmarks

Gemessenes und berichtetes Tempo: Nutzer pro Spark, Speicherbandbreite, CPU, Rechenleistung, Quantisierungsformate und wie sich jede GB10-Maschine unter Last hält.

Cluster und Skalierung

Zwei Sparks, eine Flotte, mehrere Modelle auf einer Maschine und das Teilen mit einem Team.

DGX Spark im Cluster: zwei Sparks, Setup, Grenzen und tok/s

Zwei DGX Sparks bieten 256 GB und mit Tensor-Parallelität schnelleres Decoding: 1,75× gemessen bei Qwen3-32B, bis etwa 1,8× berichtet. Kabelteile, Portnamen, Setup, Modelle, die zwei Sparks brauchen.

Von einer DGX Spark zur Flotte skalieren

Wann mehr einzelne Sparks einen Cluster aus zwei Nodes schlagen, wie Sie die Last auf unabhängige Nodes verteilen und was der Betrieb einer kleinen Flotte mit sich bringt.

GPU-Speicherverwaltung für mehrere Modelle auf einer Spark

Teilen Sie 128 GB Unified Memory auf mehrere Modelle oder Container auf einer DGX Spark auf, und erkennen Sie, wann Sie stattdessen auf einen Cluster aus zwei Nodes oder einen zweiten Node wechseln sollten.

GPU-Auslastung überwachen und Ihr Deployment richtig dimensionieren

Wie Sie die tatsächliche GPU- und Speicherauslastung auf einer gemieteten DGX Spark ablesen und damit entscheiden, ob Sie bleiben, auf einen Cluster aus zwei Nodes hochskalieren oder auf eine Flotte ausweiten.

Mehrere Container und Dienste auf einer DGX Spark betreiben

Docker-Container-Muster für eine einzelne DGX Spark: wann eine einfache docker-compose-Datei genügt und wann der Workload ihr entwachsen ist.

Modelle ohne Ausfallzeit aktualisieren oder austauschen

Eine DGX Spark ist eine einzelne Maschine; Modell-Updates ganz ohne Ausfallzeit brauchen eine zweite Spark. Was dieses Setup umfasst, und die ehrliche Alternative mit kurzem Neustartfenster.

Zugang für Teams und mehrere Nutzer auf einer gemeinsamen DGX Spark

Muster, um eine gemietete DGX Spark im Team zu teilen: separate Linux-Benutzer mit eigenen SSH-Schlüsseln oder ein vorgeschaltetes Gateway, sodass die meisten nie eine Shell brauchen.

Cluster aus DGX Sparks mit 4 oder 8 Nodes: Switch, Setup, tok/s

Cluster aus DGX Sparks mit 4 und 8 Nodes: NVIDIA-Unterstützung seit 22. Okt. 2026, Switch und Kabel, NCCL-Setup, 52,6 tok/s berichtet bei 8 Nodes und Kosten im Vergleich zu 8x B200.

Kimi K3 und DeepSeek V4 auf Clustern aus DGX Sparks: 1 bis 8 Nodes

Wie viele DGX Sparks brauchen Kimi K3, DeepSeek V4, GLM-5.3 und MiniMax M3? Speicherrechnung für 1 bis 8 Nodes und berichtete Geschwindigkeiten bis 132 tok/s auf 4 Sparks.

Betrieb

Monitoring, Backups, Sicherheit und Zugriffskontrolle für ein selbst gehostetes Deployment.

Monitoring und Observability für ein selbst gehostetes LLM

Was Sie auf einer DGX Spark mit einem LLM überwachen sollten und welche Open-Source-Tools das können, von nvidia-smi bis Prometheus und Grafana. GPUwerk liefert Konsole und API, kein Monitoring-Produkt.

Backup und Disaster Recovery für Ihren Workload auf der DGX Spark

GPUwerk hält keine Kopie des Workspace einer gemieteten DGX Spark. Was Sie sichern sollten, wohin Sie es senden und wie oft Sie synchronisieren.

Ihren Disaster-Recovery-Plan für ein selbst gehostetes LLM testen

Ein Backup, aus dem Sie nie wiederhergestellt haben, ist eine Hypothese. Restore-Übungen, Game Days und RTO/RPO-Messung für ein selbst gehostetes LLM auf gemieteter GPU-Hardware.

Sicherheitshärtung einer gemieteten GPU-Instanz

Praktische Härtung innerhalb der Instanz für eine gemietete GPU: Verwaltung von SSH-Schlüsseln, Netzwerkfreigaben, Dienste ohne root betreiben, Secrets sowie flüchtiger vs. persistenter Zustand.

Best Practices zur API-Schlüsselrotation für ein privates LLM-Deployment

API-Schlüssel und Zugangsdaten für einen selbst gehosteten Inference-Endpoint rotieren: Scopes, Rotationspläne, Widerruf und was Sie automatisieren statt von Hand erledigen sollten.

Rate Limiting und Kontingente für ein internes LLM-Deployment

Eine DGX Spark bringt von Haus aus kein Rate Limiting pro Nutzer mit. Ergänzen Sie es selbst mit LiteLLMs rpm/tpm-Limits und Budgets pro Schlüssel oder mit einem vorgeschalteten Reverse Proxy.

Audit-Logging für ein compliance-sensibles, selbst gehostetes LLM-Deployment

Richten Sie Audit-Logs für Anfragen und Antworten in Ihrem eigenen Container auf einer gemieteten DGX Spark ein: was Sie erfassen, wo Sie es speichern und wo GPUwerks Aufgabe endet.

SSO und Zugriffskontrolle für ein Team-LLM-Deployment einrichten

Eine Authentifizierungsschicht vor einen selbst gehosteten Inference-Endpoint setzen, damit sich ein Team mit vorhandenen Identitäten anmeldet, statt SSH-Schlüssel oder API-Tokens zu teilen.

Strategie für Modellversionierung und Rollback in einem selbst gehosteten Deployment

Nachverfolgen, welche Modellgewichte und Konfigurationen tatsächlich laufen, und sauber zurückrollen, wenn eine neue Version schwächer ist, in einem selbst gehosteten Deployment auf einer DGX Spark.

Wie die Spark im Vergleich zu anderen Maschinen abschneidet, zeigen die Vergleiche. Zur Hardware selbst siehe die Datenseite.

Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben

Probieren Sie einen Guide auf einer echten Spark für 0,79 $/Stunde aus.

Mieten Sie eine dedizierte DGX Spark in Europa, Nordamerika oder Ostasien und machen Sie mit. Minutengenau vom Prepaid-Guthaben abgerechnet.

Konto erstellen Preise ansehen