Ein privater Coding-Agent auf Ihrer eigenen DGX Spark
Mieten Sie eine ganze NVIDIA DGX Spark, starten Sie das Qwen3-Coder-30B-Image und richten Sie Ihren Coding-Agenten auf den OpenAI-kompatiblen Endpoint, den es bereitstellt. Niemand sonst nutzt die Maschine, solange Sie sie haben, und eine Stunde kostet 0,79 $, egal wie viele Tokens Ihr Agent sendet. Auf einer meiner Sparks erzeugte dieses Modell 80,9 Tokens pro Sekunde für eine einzelne Anfrage (vLLM, 2. September 2026, Roh-Log).
Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben. Minutengenau vom Prepaid-Guthaben abgerechnet. Beenden Sie die Instanz, wenn Sie fertig sind, dann endet die Abrechnung. Wählen Sie in der Konsole DGX Spark 1× und dann das Qwen3-Coder-30B-Image.
Was auf der Maschine ist
| Hardware | Eine NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB Unified Memory mit 273 GB/s, 1 TB NVMe. Die ganze Maschine gehört Ihnen, solange sie läuft. |
|---|---|
| Modell | Qwen3-Coder-30B-A3B-Instruct in AWQ 4-Bit, ein Mixture-of-Experts-Modell, das pro Token etwa 3B seiner 30B Parameter liest. Die Gewichte liegen bereits auf der Maschine. |
| Server | vLLM, liefert das Modell als qwen3-coder-30b aus, mit einem Kontext von 32.768 Tokens pro Anfrage |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibel, geschützt durch einen API-Schlüssel mit dem Scope inference, den Sie in der Konsole erstellen |
| Shell | Ein Root-Terminal im Browser, kein SSH-Schlüssel nötig, oder root per SSH mit Ihrem eigenen Schlüssel. Dateien unter /workspace überstehen Neustarts. |
| Wo | Dieses Image läuft auf meinen eigenen Sparks in Hradec Králové, Tschechien. Partner-Sparks bieten die Images DGX OS und Ubuntu, auf denen Sie das Modell selbst starten (siehe das zweite Setup unten). |
Wie schnell sie ist, gemessen
Ich habe am 2. September 2026 vllm bench serve mit diesem Modell auf einer meiner Sparks ausgeführt, ohne sonst etwas auf ihrer GPU (vLLM 0.27.1, AWQ 4-Bit). Die vollständige Methode und der Vergleichslauf mit 70B stehen auf der Benchmark-Seite.
| Gleichzeitige Anfragen | Pro Anfrage erzeugt | Wie es sich anfühlt |
|---|---|---|
| 1 | 80,9 tok/s | Ein Entwickler: Antworten streamen schneller, als Sie lesen |
| 8 | 35,2 tok/s | Ein kleines Team teilt sich einen Endpoint |
| 32 | 18,4 tok/s | Viele parallele Agentenläufe; jeder wird langsamer |
Auch das Lesen des Prompts ist schnell: Ein Prompt mit 8.192 Tokens ging mit 5.705 tok/s hinein, etwa 1,4 Sekunden bis zum ersten Token. Das sind Referenzläufe, kein Versprechen für Ihre Prompts. Ein Preset, das Sie heute bereitstellen, kann einen neueren vLLM-Build nutzen, und lange Agenten-Prompts dauern länger als kurze Benchmark-Prompts.
Welche Agenten mit dem unveränderten Preset funktionieren
Coding-Agenten sprechen auf eine von zwei Arten mit einem Modell, und das entscheidet, welches Setup Sie brauchen. Das Preset startet vLLM nur mit einem Kontextlimit und einem Speicherlimit (--max-model-len 32768 --gpu-memory-utilization 0.5). Es übergibt nicht --enable-auto-tool-choice, und vLLM lehnt Anfragen mit automatischen Tool-Calls ab, sofern der Server nicht mit diesem Flag und einem Tool-Call-Parser gestartet wurde.
- aider fordert Änderungen als Text an und braucht keine Tool-Calls, funktioniert also mit dem unveränderten Preset. Das gilt auch für den Chat- und Edit-Modus von Continue.
- pi und OpenCode bauen auf Tool-Calls auf, ebenso der Agent-Modus von Continue. Für sie liefern Sie das Modell selbst mit eingeschaltetem Tool-Calling aus. Das dauert etwa 15 Minuten und funktioniert auf jeder Spark, Partnermaschinen eingeschlossen.
Setup 1: das Preset mit aider
- Laden Sie in der Konsole Guthaben auf, wählen Sie DGX Spark 1× und das Qwen3-Coder-30B-Image und stellen Sie bereit. Die Abrechnung beginnt, sobald die Instanz ihren Bereitschaftscheck besteht und running anzeigt.
- Erstellen Sie in der Konsole einen API-Schlüssel mit dem Scope inference und kopieren Sie den HTTPS-Endpoint von der Instanz-Seite.
- Prüfen Sie auf Ihrem Laptop, ob der Endpoint antwortet. Die Antwort listet
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Starten Sie dann aider in Ihrem Repository. Das Präfix openai/ sagt aider, welches API-Format es sprechen soll; kein OpenAI-Dienst ist beteiligt.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Einstellungen für Continue und Cline mit demselben Endpoint stehen unter Coding-Agenten mit Ihrem eigenen Endpoint.
Setup 2: pi oder OpenCode, mit Tool-Calls
Stellen Sie stattdessen das DGX-OS-Image bereit. Bauen Sie llama.cpp für den GB10 und starten Sie Qwen3 Coder mit --jinja; das wendet die eigene Chat-Vorlage des Modells an und gibt seine Tool-Calls im OpenAI-Format zurück. Dies sind die Build-Schritte aus meinem llama.cpp-Guide, ausgeführt im Browser-Terminal:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Der Server lauscht nur auf 127.0.0.1, erreichen Sie ihn also über einen SSH-Tunnel von Ihrem Laptop. Dafür brauchen Sie Ihren eigenen SSH-Schlüssel auf der Instanz (zwei Minuten). Die Maintainer von llama.cpp berichten 61,1 tok/s für dieses Modell bei Q8_0 auf einer DGX Spark (Ergebnisse für die DGX Spark, Build 7941); diesen Weg habe ich nicht selbst gemessen.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) liest Provider aus opencode.json in Ihrem Projekt:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) liest ~/.pi/agent/models.json. Halten Sie contextWindow bei oder unter dem -c des Servers, sonst überfüllt pi den Kontext und der Server lehnt die Anfrage ab.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Dann pi --model qwen3-coder in Ihrem Repository. Der Server läuft weiter, wenn der Agent endet; beenden Sie die Instanz in der Konsole, wenn der Tag vorbei ist.
Was eine Stunde bringt, neben einer API-Rechnung
Eine Spark kostet 0,79 $ pro Stunde, minutengenau abgerechnet: 6,32 $ für einen Achtstundentag, 132,72 $ für 21 solcher Tage. Was Sie dafür bekommen, hängt davon ab, wie stark Sie sie auslasten. Nach meiner Rechnung auf Basis der oben gemessenen Geschwindigkeiten:
- Ein Entwickler, eine Anfrage nach der anderen: 80,9 tok/s sind höchstens etwa 291.000 erzeugte Tokens pro Stunde, oder 2,71 $ pro Million, wenn das Modell nie pausiert. Echte Sitzungen pausieren, während Sie lesen und Tests laufen, pro Token kostet es also mehr.
- Ein Team teilt sich den Endpoint: Bei 8 gleichzeitigen Anfragen ergeben 8 × 35,2 tok/s etwa 1 Million erzeugte Tokens pro Stunde, etwa 0,78 $ pro Million.
- Prompt-Tokens kosten nichts extra. Ein Agent sendet Ihre Dateien und die ganze Unterhaltung bei jedem Schritt erneut, daher ist bei einer Per-Token-API der Großteil der Rechnung Input. Hier kostet es Zeit: Prefill mit 5.705 tok/s.
Legen Sie das neben Ihre eigene API-Rechnung. Für einen einzelnen Entwickler, dessen Coding-Abo nie an seine Grenzen stößt, ist das Abo wahrscheinlich günstiger. Eine Spark lohnt sich, wenn sich mehrere Personen einen Endpoint teilen, wenn Rate Limits lange Agentenläufe stoppen oder wenn Ihr Code nicht an einen Modellanbieter gehen soll.
Grenzen, die Sie vorher kennen sollten
- Es ist ein mittelgroßes offenes Modell. Qwen3 Coder 30B ist hier schnell, weil es pro Token etwa 3B Parameter liest. Es ist kein Spitzenmodell, und ich habe keinen Coding-Benchmark damit ausgeführt. Probieren Sie es an Ihren eigenen Aufgaben aus, bevor Sie Arbeit darauf verlagern.
- 32.768 Tokens pro Anfrage im Preset. Ein Agent, der viele Dateien liest, stößt daran. Mit Setup 2 wählen Sie die Kontextlänge selbst.
- Das Preset läuft nur auf meinen eigenen Sparks. Wenn alle vermietet sind, zeigt die Konsole das an. Partner-Sparks nutzen Setup 2.
- Der Endpoint des Presets läuft über mein Gateway. Er ist öffentliches HTTPS, geschützt durch Ihren API-Schlüssel, und je nach Instanz endet TLS bei Cloudflare und meinem Gateway, bevor die Anfrage die Spark erreicht (die API meldet das als
https_termination). Für Code, der durch keines von beiden laufen soll, nutzen Sie den SSH-Tunnel aus Setup 2. - Die Spark ist ARM64. Ihr Agent läuft auf Ihrem Laptop, daher spielt das hier selten eine Rolle, aber alles, was Sie auf der Spark selbst installieren, braucht einen aarch64-Build.
- Kein SLA und keine Backups. Halten Sie Ihren Code auf Ihrer Seite in git; Beim Beenden wird der Workspace gelöscht.
Wo die Sparks stehen
Meine eigenen Sparks stehen in einem Rechenzentrum in Hradec Králové, Tschechien. Partner-Sparks gehören Partnern und werden von ihnen in eigenen Räumlichkeiten in den USA, Schweden, den Niederlanden, der Slowakei und Hongkong gehostet. Die Konsole zeigt vor der Bereitstellung das Land und ob es im EWR liegt. Ein Partner hat physischen Zugang zu seiner Maschine, und eine Maschine außerhalb des EWR bedeutet, dass Ihre Daten die EU/den EWR verlassen; wählen Sie also den Standort, der zu Ihrem Code passt.
Preis
0,79 $ pro Stunde für eine Spark, minutengenau vom Prepaid-Guthaben abgerechnet. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben. Eine gestoppte Instanz behält ihren Workspace und wird mit 75 % des Stundensatzes abgerechnet. Beenden Sie sie, wenn Sie fertig sind, dann endet die Abrechnung; dabei wird der Workspace gelöscht. Preise zzgl. MwSt., soweit anwendbar. Details auf der Preisseite.
Wer das betreibt
GPUwerk ist neu, daher hier, wen Sie bezahlen würden. Ich bin Samuel Seidel, der Gründer, und das Unternehmen ist PRINT IT! SE mit Sitz in Prag. Seit September 2026 haben 94 Entwickler 374 Instanzen gestartet (Stand: 9. November 2026). Der Servicestatus ist öffentlich unter status.gpuwerk.com. Fragen, bevor Sie starten? Schreiben Sie über die Kontaktseite; ich antworte selbst.
FAQ
Kann ich pi oder OpenCode mit dem Qwen3-Coder-30B-Preset nutzen?
Nicht so, wie es ist. Beide senden OpenAI-Tool-Calls, und das Preset startet vLLM ohne --enable-auto-tool-choice, daher lehnt vLLM diese Anfragen ab. Stellen Sie stattdessen das DGX-OS-Image bereit und liefern Sie das Modell mit llama.cpp und --jinja aus, wie in Setup 2 auf dieser Seite. aider und der Chat-Modus von Continue funktionieren mit dem unveränderten Preset.
Wie schnell ist Qwen3 Coder 30B auf einer DGX Spark?
Auf einer meiner Sparks erzeugte es 80,9 Tokens pro Sekunde für eine einzelne Anfrage und 35,2 pro Anfrage bei 8 gleichzeitigen Anfragen (vLLM 0.27.1, AWQ 4-Bit, 2. September 2026). Das Roh-Log ist auf dieser Seite verlinkt. Die Maintainer von llama.cpp berichten 61,1 tok/s bei Q8_0.
Was kostet ein Coding-Agent auf einer Spark?
0,79 $ pro Stunde, minutengenau vom Prepaid-Guthaben abgerechnet, egal was der Agent sendet: 6,32 $ für einen Achtstundentag. Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben. Eine gestoppte Instanz wird mit 75 % des Stundensatzes abgerechnet; mit dem Beenden endet die Abrechnung, und der Workspace wird gelöscht. Preise zzgl. MwSt., soweit anwendbar.
Geht mein Code an einen Modellanbieter?
Keine Modell-API eines Dritten ist beteiligt: Das Modell läuft auf der Spark, die Sie mieten und die sonst niemand nutzt, solange Sie sie haben. Anfragen an den HTTPS-Endpoint des Presets laufen über GPUwerks Gateway und, je nach Instanz, über Cloudflare. Ein SSH-Tunnel zu einem Server, den Sie selbst starten, umgeht beides. Auf einer Partner-Spark hat der Partner physischen Zugang zur Maschine.