Modelle der 70B- bis 120B-Klasse in 128 GB Unified Memory ausführen
Eine DGX Spark hat 128 GB Speicher, den sich CPU und GPU teilen, sodass Modelle, die nie auf eine Grafikkarte mit 24 oder 32 GB passen würden, in einem Stück geladen werden. Passen heißt aber nicht schnell. Der Speicher liefert 273 GB/s, und jeder erzeugte Token liest die aktiven Gewichte des Modells einmal. Auf einer meiner Sparks erzeugte ein dichtes Llama 3.3 70B bei einer einzelnen Anfrage 6,0 Tokens pro Sekunde. Ein Mixture-of-Experts-Modell liest pro Token nur einen Teil seiner Gewichte: Für gpt-oss-120b werden auf demselben Chip 58,7 tok/s berichtet. Wählen Sie das Modell passend zur Bandbreite und mieten Sie dann eine Spark für die Stunden, die Sie brauchen.
Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben, etwa 37 Stunden auf einer Spark. Minutengenau vom Prepaid-Guthaben abgerechnet. Beenden Sie die Instanz, wenn Sie fertig sind, dann endet die Abrechnung.
Was passt, und wie schnell eine Anfrage läuft
| Modell und Format | Gelesen pro Token | Eine Anfrage | Quelle |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-Bit | etwa 3B Parameter | 80,9 tok/s | Mein Lauf, vLLM 0.27.1, 2. Sep. 2026 (Roh-Log) |
| gpt-oss-120b, MXFP4 | 5,1B von 117B | 58,7 tok/s | Berichtet: llama.cpp-Ergebnisse für die DGX Spark, Build 7941, 5. Feb. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B von 117B | 33,5 tok/s | Berichtet: Dendro Logic, vLLM, Prompts mit 1.500 Tokens und JSON-Ausgabe, 22. Apr. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B von 120B | etwa 24 tok/s | Berichtet: NVIDIA-Forum, vLLM mit einem CUTLASS-Fix, 29. März 2026 |
| Llama 3.3 70B, AWQ 4-Bit | alle 70B (dicht) | 6,0 tok/s | Mein Lauf, vLLM 0.27.1, 2. Sep. 2026 (Roh-Log) |
| Nemotron Super 49B v1.5, NVFP4 | alle 49B (dicht) | 5,79 tok/s | Berichtet: Dendro Logic, 22. Apr. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B von 235B | etwa 1,8 tok/s; passt nicht | Berichtet: NVIDIA-Forum, llama.cpp, 17. Dez. 2025 |
Zeilen mit "Berichtet" sind Messungen anderer, die ich für die Benchmark-Seite gesammelt und am 11. Oktober 2026 mit ihren Quellen abgeglichen habe; ich habe sie nicht reproduziert. Die zwei Zeilen zu gpt-oss-120b zeigen, wie stark Engine und Workload ein Modell auf einem Chip verschieben. Die Parameterzahlen für gpt-oss-120b stammen aus dessen Model Card, über den Speicherrechner.
Warum ein dichtes 70B langsam ist und ein 120B-MoE nicht
Einen Token zu erzeugen heißt, die aktiven Gewichte einmal aus dem Speicher zu lesen; die Obergrenze ist also die Speicherbandbreite geteilt durch die pro Token gelesenen Bytes:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Echte Engines landen zwischen etwa der Hälfte und vier Fünfteln der Obergrenze. Unter etwa 10 tok/s fühlt sich ein Modell im Chatfenster langsam an, weshalb ein dichtes 70B auf einer Spark ein Batch-Modell ist: Mit 128 parallelen Anfragen erreichte mein 70B-Lauf insgesamt 485 tok/s, Prompt- und erzeugte Tokens zusammengezählt, aber jede Anfrage fiel auf 1,4 tok/s. Die vollständigen Kurven zur Parallelität stehen auf der Benchmark-Seite.
Was ich ausführen würde
- Ein Modell der 120B-Klasse, mit dem Sie sprechen können: gpt-oss-120b in MXFP4. Die Gewichte haben 65,2 GB, das lässt Platz für einen langen Kontext, und es liest etwa 5B Parameter pro Token.
- Tempo zuerst: ein Qwen3-Mixture-of-Experts-Modell mit 4 Bit, etwa Qwen3-30B-A3B oder Qwen3.6-35B-A3B. Diese lesen pro Token etwa 3B Parameter.
- Ein dichtes 70B-Modell: nur für Batch-Jobs oder wenn Sie genau dieses Modell brauchen. Rechnen Sie mit etwa 6 tok/s pro Anfrage.
- Quantisieren Sie auf 4 Bit. MXFP4, NVFP4, AWQ oder Q4_K_M halbieren die Bytes pro Token gegenüber FP8 und verdoppeln die Obergrenze grob. Die Qualitätseinbußen unterscheiden sich je Format; der Guide zu Quantisierung und Tempo vergleicht sie auf diesem Chip.
- Über 128 GB: zwei verbundene Sparks, für 1,79 $ pro Stunde für den Cluster aus zwei Nodes, wenn die Konsole ihn anbietet. Der Bericht zu Qwen3-235B oben ging von etwa 1,8 tok/s auf einer Spark auf etwa 12,5 auf zwei. Der Guide zu zwei Nodes zeigt, was die Kopplung bringt.
gpt-oss-120b mit llama.cpp ausführen
Für jeweils einen Nutzer ist llama.cpp auf diesem Chip die schnellere Engine. Stellen Sie DGX Spark 1× mit dem DGX-OS-Image bereit, öffnen Sie das Browser-Terminal, bauen Sie llama.cpp für den GB10 (5 bis 10 Minuten) und starten Sie das Modell. Die Build-Schritte sind dieselben wie in meinem llama.cpp-Guide.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Wenn das Log meldet, dass der Server lauscht, messen Sie Ihr eigenes Tempo aus einem zweiten Terminal. llama-server gibt bei jeder Antwort seine Zeiten zurück:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Der Download läuft auf der Uhr, starten Sie ihn also zuerst und lesen Sie, während er lädt. Um den Server von Ihrem Laptop zu erreichen, nutzen Sie einen SSH-Tunnel mit Ihrem eigenen Schlüssel, oder starten Sie ihn mit --host 0.0.0.0 --api-key und einem langen zufälligen Schlüssel: Jede Instanz hat ihre eigene öffentliche IPv4-Adresse. Für mehrere gleichzeitige Nutzer bündelt vLLM besser; der vLLM-Guide enthält die Speicherrechnung für Unified Memory.
Grenzen, die Sie vorher kennen sollten
- Ich habe gpt-oss-120b nicht in meiner Flotte gemessen. Die Zahlen oben sind berichtet, und Ihre Prompts landen woanders. Messen Sie, bevor Sie mit einem Wert planen.
- Lange Prompts sind bei großen dichten Modellen langsam. Mein 70B-Lauf las einen Prompt mit 8.192 Tokens mit 391 tok/s, etwa 21 Sekunden bis zum ersten Token.
- Quantisierung kostet Qualität. Ein 4-Bit-Modell ist nicht das Modell in voller Präzision. Prüfen Sie die Antworten mit Ihren eigenen Prompts.
- Die Spark ist ARM64 mit einer sm_121-GPU. Engines und Python-Pakete brauchen dafür aarch64-Builds, und ein einfaches
pip install vllmkann sich problemlos installieren und dann nicht starten; der vLLM-Guide erklärt die Falle. - Es läuft in einem Container. Auf vielen Sparks hat er einen eigenen Docker-Daemon, sodass arm64-Container der Hersteller laufen; die anderen betreiben einen einfachen Container ohne Docker, bei dem der native Build oben der Weg ist. Sie können nicht wählen, welche.
- Kein SLA und keine Backups. Modell-Downloads außerhalb von
/workspacegehen bei einem Rebuild verloren, und beim Beenden geht alles verloren.
Preis und wo die Sparks stehen
0,79 $ pro Stunde für eine Spark, minutengenau vom Prepaid-Guthaben abgerechnet: 6,32 $ für einen Achtstundentag. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben. Eine gestoppte Instanz behält ihren Workspace und wird mit 75 % des Stundensatzes abgerechnet. Beenden Sie sie, wenn Sie fertig sind, dann endet die Abrechnung; dabei wird der Workspace gelöscht. Preise zzgl. MwSt., soweit anwendbar.
Meine eigenen Sparks stehen in einem Rechenzentrum in Hradec Králové, Tschechien. Partner-Sparks, die Partnern gehören und von ihnen in eigenen Räumlichkeiten gehostet werden, stehen in den USA, Schweden, den Niederlanden, der Slowakei und Hongkong; ein Partner hat physischen Zugang zu seiner Maschine. Die Konsole zeigt vor der Bereitstellung das Land und ob es im EWR liegt. Jeder Standort bietet die oben verwendeten Images DGX OS und Ubuntu.
Wer das betreibt
GPUwerk ist neu. Ich betreibe es, Samuel Seidel, über PRINT IT! SE, ein in Prag eingetragenes Unternehmen. Stand 9. November 2026 haben 94 Entwickler seit September 374 Instanzen gestartet. Den Live-Status finden Sie auf status.gpuwerk.com, und über die Kontaktseite erreichen Sie mich direkt, wenn Sie ein Modell vor der Miete prüfen möchten.
FAQ
Kann eine DGX Spark ein 70B-Modell ausführen?
Ja. Llama 3.3 70B in AWQ 4-Bit hat etwa 37 GiB Gewichte und passt mit Reserve, erzeugte aber auf einer meiner Sparks 6,0 Tokens pro Sekunde für eine einzelne Anfrage (vLLM 0.27.1, 2. September 2026). Das passt besser zu Batch-Jobs als zu Chat.
Passt gpt-oss-120b auf eine DGX Spark?
Ja. Seine MXFP4-Gewichte umfassen insgesamt 65,2 GB, und es liest pro Token etwa 5,1B Parameter. Die Maintainer von llama.cpp berichten 58,7 tok/s für eine Anfrage; Dendro Logic berichtet 33,5 auf vLLM mit längeren Prompts und JSON-Ausgabe. In meiner Flotte habe ich es nicht gemessen.
Was ist mit Modellen über 128 GB?
Sie brauchen zwei verbundene Sparks. Ein Qwen3-235B-A22B-Build mit 134 GB lief laut einem Bericht im NVIDIA-Entwicklerforum mit etwa 1,8 tok/s auf einer Spark und etwa 12,5 auf zwei. GPUwerks Cluster aus zwei Nodes kostet 1,79 $ pro Stunde, wenn die Konsole ihn anbietet.
Was kostet es, ein großes Modell auszuprobieren?
0,79 $ pro Stunde für eine Spark, minutengenau vom Prepaid-Guthaben abgerechnet; der erste Download und der llama.cpp-Build werden mitberechnet. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben, etwa 37 Stunden. Beenden Sie die Instanz, wenn Sie fertig sind, dann endet die Abrechnung.