DGX Spark/Große Modelle
Anwendungsfall · Große Modelle

Modelle der 70B- bis 120B-Klasse in 128 GB Unified Memory ausführen

Von Samuel Seidel · Aktualisiert am 10. November 2026 · 7 Min. Lesezeit

Eine DGX Spark hat 128 GB Speicher, den sich CPU und GPU teilen, sodass Modelle, die nie auf eine Grafikkarte mit 24 oder 32 GB passen würden, in einem Stück geladen werden. Passen heißt aber nicht schnell. Der Speicher liefert 273 GB/s, und jeder erzeugte Token liest die aktiven Gewichte des Modells einmal. Auf einer meiner Sparks erzeugte ein dichtes Llama 3.3 70B bei einer einzelnen Anfrage 6,0 Tokens pro Sekunde. Ein Mixture-of-Experts-Modell liest pro Token nur einen Teil seiner Gewichte: Für gpt-oss-120b werden auf demselben Chip 58,7 tok/s berichtet. Wählen Sie das Modell passend zur Bandbreite und mieten Sie dann eine Spark für die Stunden, die Sie brauchen.

Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben, etwa 37 Stunden auf einer Spark. Minutengenau vom Prepaid-Guthaben abgerechnet. Beenden Sie die Instanz, wenn Sie fertig sind, dann endet die Abrechnung.

Was passt, und wie schnell eine Anfrage läuft

Modell und FormatGelesen pro TokenEine AnfrageQuelle
Qwen3-Coder 30B-A3B, AWQ 4-Bitetwa 3B Parameter80,9 tok/sMein Lauf, vLLM 0.27.1, 2. Sep. 2026 (Roh-Log)
gpt-oss-120b, MXFP45,1B von 117B58,7 tok/sBerichtet: llama.cpp-Ergebnisse für die DGX Spark, Build 7941, 5. Feb. 2026
gpt-oss-120b, MXFP45,1B von 117B33,5 tok/sBerichtet: Dendro Logic, vLLM, Prompts mit 1.500 Tokens und JSON-Ausgabe, 22. Apr. 2026
Nemotron-3-Super-120B-A12B, NVFP412B von 120Betwa 24 tok/sBerichtet: NVIDIA-Forum, vLLM mit einem CUTLASS-Fix, 29. März 2026
Llama 3.3 70B, AWQ 4-Bitalle 70B (dicht)6,0 tok/sMein Lauf, vLLM 0.27.1, 2. Sep. 2026 (Roh-Log)
Nemotron Super 49B v1.5, NVFP4alle 49B (dicht)5,79 tok/sBerichtet: Dendro Logic, 22. Apr. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B von 235Betwa 1,8 tok/s; passt nichtBerichtet: NVIDIA-Forum, llama.cpp, 17. Dez. 2025

Zeilen mit "Berichtet" sind Messungen anderer, die ich für die Benchmark-Seite gesammelt und am 11. Oktober 2026 mit ihren Quellen abgeglichen habe; ich habe sie nicht reproduziert. Die zwei Zeilen zu gpt-oss-120b zeigen, wie stark Engine und Workload ein Modell auf einem Chip verschieben. Die Parameterzahlen für gpt-oss-120b stammen aus dessen Model Card, über den Speicherrechner.

Warum ein dichtes 70B langsam ist und ein 120B-MoE nicht

Einen Token zu erzeugen heißt, die aktiven Gewichte einmal aus dem Speicher zu lesen; die Obergrenze ist also die Speicherbandbreite geteilt durch die pro Token gelesenen Bytes:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Echte Engines landen zwischen etwa der Hälfte und vier Fünfteln der Obergrenze. Unter etwa 10 tok/s fühlt sich ein Modell im Chatfenster langsam an, weshalb ein dichtes 70B auf einer Spark ein Batch-Modell ist: Mit 128 parallelen Anfragen erreichte mein 70B-Lauf insgesamt 485 tok/s, Prompt- und erzeugte Tokens zusammengezählt, aber jede Anfrage fiel auf 1,4 tok/s. Die vollständigen Kurven zur Parallelität stehen auf der Benchmark-Seite.

Was ich ausführen würde

gpt-oss-120b mit llama.cpp ausführen

Für jeweils einen Nutzer ist llama.cpp auf diesem Chip die schnellere Engine. Stellen Sie DGX Spark 1× mit dem DGX-OS-Image bereit, öffnen Sie das Browser-Terminal, bauen Sie llama.cpp für den GB10 (5 bis 10 Minuten) und starten Sie das Modell. Die Build-Schritte sind dieselben wie in meinem llama.cpp-Guide.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Wenn das Log meldet, dass der Server lauscht, messen Sie Ihr eigenes Tempo aus einem zweiten Terminal. llama-server gibt bei jeder Antwort seine Zeiten zurück:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Der Download läuft auf der Uhr, starten Sie ihn also zuerst und lesen Sie, während er lädt. Um den Server von Ihrem Laptop zu erreichen, nutzen Sie einen SSH-Tunnel mit Ihrem eigenen Schlüssel, oder starten Sie ihn mit --host 0.0.0.0 --api-key und einem langen zufälligen Schlüssel: Jede Instanz hat ihre eigene öffentliche IPv4-Adresse. Für mehrere gleichzeitige Nutzer bündelt vLLM besser; der vLLM-Guide enthält die Speicherrechnung für Unified Memory.

Grenzen, die Sie vorher kennen sollten

Preis und wo die Sparks stehen

0,79 $ pro Stunde für eine Spark, minutengenau vom Prepaid-Guthaben abgerechnet: 6,32 $ für einen Achtstundentag. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben. Eine gestoppte Instanz behält ihren Workspace und wird mit 75 % des Stundensatzes abgerechnet. Beenden Sie sie, wenn Sie fertig sind, dann endet die Abrechnung; dabei wird der Workspace gelöscht. Preise zzgl. MwSt., soweit anwendbar.

Meine eigenen Sparks stehen in einem Rechenzentrum in Hradec Králové, Tschechien. Partner-Sparks, die Partnern gehören und von ihnen in eigenen Räumlichkeiten gehostet werden, stehen in den USA, Schweden, den Niederlanden, der Slowakei und Hongkong; ein Partner hat physischen Zugang zu seiner Maschine. Die Konsole zeigt vor der Bereitstellung das Land und ob es im EWR liegt. Jeder Standort bietet die oben verwendeten Images DGX OS und Ubuntu.

Wer das betreibt

GPUwerk ist neu. Ich betreibe es, Samuel Seidel, über PRINT IT! SE, ein in Prag eingetragenes Unternehmen. Stand 9. November 2026 haben 94 Entwickler seit September 374 Instanzen gestartet. Den Live-Status finden Sie auf status.gpuwerk.com, und über die Kontaktseite erreichen Sie mich direkt, wenn Sie ein Modell vor der Miete prüfen möchten.

FAQ

Kann eine DGX Spark ein 70B-Modell ausführen?

Ja. Llama 3.3 70B in AWQ 4-Bit hat etwa 37 GiB Gewichte und passt mit Reserve, erzeugte aber auf einer meiner Sparks 6,0 Tokens pro Sekunde für eine einzelne Anfrage (vLLM 0.27.1, 2. September 2026). Das passt besser zu Batch-Jobs als zu Chat.

Passt gpt-oss-120b auf eine DGX Spark?

Ja. Seine MXFP4-Gewichte umfassen insgesamt 65,2 GB, und es liest pro Token etwa 5,1B Parameter. Die Maintainer von llama.cpp berichten 58,7 tok/s für eine Anfrage; Dendro Logic berichtet 33,5 auf vLLM mit längeren Prompts und JSON-Ausgabe. In meiner Flotte habe ich es nicht gemessen.

Was ist mit Modellen über 128 GB?

Sie brauchen zwei verbundene Sparks. Ein Qwen3-235B-A22B-Build mit 134 GB lief laut einem Bericht im NVIDIA-Entwicklerforum mit etwa 1,8 tok/s auf einer Spark und etwa 12,5 auf zwei. GPUwerks Cluster aus zwei Nodes kostet 1,79 $ pro Stunde, wenn die Konsole ihn anbietet.

Was kostet es, ein großes Modell auszuprobieren?

0,79 $ pro Stunde für eine Spark, minutengenau vom Prepaid-Guthaben abgerechnet; der erste Download und der llama.cpp-Build werden mitberechnet. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben, etwa 37 Stunden. Beenden Sie die Instanz, wenn Sie fertig sind, dann endet die Abrechnung.

Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben

Laden Sie ein 120B-Modell auf eine eigene Spark.

Eine dedizierte DGX Spark mit 128 GB Unified Memory, 0,79 $/h, minutengenau abgerechnet. Beenden Sie sie, wenn Sie fertig sind, dann endet die Abrechnung.

Jetzt bereitstellen