En privat kodagent på din egen DGX Spark
Hyr en hel NVIDIA DGX Spark, starta avbildningen Qwen3 Coder 30B och rikta din kodagent mot den OpenAI-kompatibla endpoint den serverar. Ingen annan använder maskinen medan du har den, och en timme kostar 0,79 USD oavsett hur många tokens din agent skickar. På en av mina Sparks genererade den här modellen 80,9 tokens per sekund för en enda förfrågan (vLLM, 2 september 2026, rålogg).
Första påfyllningen: betala 20 USD, få 30 USD i kredit. Debiteras per minut från förbetald kredit. Avsluta när du är klar så upphör faktureringen. I konsolen väljer du DGX Spark 1× och sedan avbildningen Qwen3 Coder 30B.
Vad som finns på maskinen
| Hårdvara | En NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB enhetligt minne med 273 GB/s, 1 TB NVMe. Hela maskinen är din medan den körs. |
|---|---|
| Modell | Qwen3-Coder-30B-A3B-Instruct i AWQ 4-bitars, en mixture-of-experts-modell som läser cirka 3B av sina 30B parametrar per token. Vikterna finns redan på maskinen. |
| Server | vLLM, som serverar modellen som qwen3-coder-30b med en kontext på 32 768 tokens per förfrågan |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibel, skyddad av en API-nyckel med inferensbehörighet som du skapar i konsolen |
| Skal | En root-terminal i webbläsaren, ingen SSH-nyckel behövs, eller root via SSH med din egen nyckel. Filer under /workspace finns kvar vid omstarter. |
| Var | Den här avbildningen körs på mina egna Sparks i Hradec Králové i Tjeckien. Partners Sparks erbjuder avbildningarna DGX OS och Ubuntu, där du startar modellen själv (se det andra upplägget nedan). |
Hur snabb den är, uppmätt
Jag körde vllm bench serve mot den här modellen på en av mina Sparks utan något annat på dess GPU, den 2 september 2026 (vLLM 0.27.1, AWQ 4-bitars). Hela metoden och jämförelsekörningen med 70B finns på benchmarksidan.
| Förfrågningar samtidigt | Genererat per förfrågan | Hur det känns |
|---|---|---|
| 1 | 80,9 tok/s | En utvecklare: svaren strömmar snabbare än du läser dem |
| 8 | 35,2 tok/s | Ett litet team som delar en endpoint |
| 32 | 18,4 tok/s | Många parallella agentkörningar; var och en blir långsammare |
Att läsa prompten går också snabbt: en prompt på 8 192 tokens gick in i 5 705 tok/s, cirka 1,4 sekunder före första token. Det här är referenskörningar, inget löfte för dina prompter. En förinställning som du driftsätter i dag kan köra en nyare version av vLLM, och långa agentprompter tar längre tid än korta benchmarkprompter.
Vilka agenter som fungerar med förinställningen som den är
Kodagenter pratar med en modell på ett av två sätt, och det avgör vilket upplägg du behöver. Förinställningen startar vLLM med bara en kontextgräns och en minnesgräns (--max-model-len 32768 --gpu-memory-utilization 0.5). Den skickar inte --enable-auto-tool-choice, och vLLM avvisar förfrågningar som begär automatiska verktygsanrop om inte servern startades med den flaggan och en parser för verktygsanrop.
- aider begär ändringar som text och behöver inga verktygsanrop, så den fungerar med förinställningen oförändrad. Det gör även Continues chatt- och redigeringsläge.
- pi och OpenCode bygger på verktygsanrop, liksom Continues agentläge. För dem serverar du modellen själv med verktygsanrop påslagna. Det tar cirka 15 minuter, och det fungerar på alla Sparks, partnermaskiner inräknade.
Upplägg 1: förinställningen med aider
- I konsolen, fyll på kredit, välj DGX Spark 1× och avbildningen Qwen3 Coder 30B, och driftsätt. Debiteringen börjar när instansen har godkänts i driftklarhetskontrollen och visar running.
- Skapa en API-nyckel med inferensbehörighet i konsolen och kopiera HTTPS-endpointen från instanssidan.
- Kontrollera på din laptop att endpointen svarar. Svaret listar
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Starta sedan aider i ditt repository. Prefixet openai/ talar om för aider vilket API-format den ska använda; ingen tjänst från OpenAI är inblandad.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Inställningar för Continue och Cline mot samma endpoint finns i kodagenter mot din egen endpoint.
Upplägg 2: pi eller OpenCode, med verktygsanrop
Driftsätt DGX OS-avbildningen i stället. Bygg llama.cpp för GB10 och starta Qwen3 Coder med --jinja, som tillämpar modellens egen chattmall och returnerar dess verktygsanrop i OpenAI-formatet. Det här är byggstegen från min llama.cpp-guide, körda i webbterminalen:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Servern lyssnar bara på 127.0.0.1, så nå den via en SSH-tunnel från din laptop. Det kräver din egen SSH-nyckel på instansen (två minuter). llama.cpp-utvecklarna rapporterar 61,1 tok/s för den här modellen i Q8_0 på en DGX Spark (resultat för DGX Spark, build 7941); jag har inte mätt den här vägen själv.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) läser leverantörer från opencode.json i ditt projekt:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) läser ~/.pi/agent/models.json. Håll contextWindow på eller under serverns -c, annars överfyller pi kontexten och servern avvisar förfrågan.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Sedan pi --model qwen3-coder i ditt repository. Servern fortsätter att köras när agenten avslutas; avsluta instansen i konsolen när dagen är slut.
Vad en timme ger, jämfört med en API-faktura
En Spark kostar 0,79 USD i timmen, debiteras per minut: 6,32 USD för en åttatimmarsdag, 132,72 USD för 21 sådana dagar. Vad du får för det beror på hur mycket du använder den. Enligt min beräkning utifrån de uppmätta hastigheterna ovan:
- En utvecklare, en förfrågan i taget: 80,9 tok/s är som mest cirka 291 000 genererade tokens i timmen, eller 2,71 USD per miljon om modellen aldrig pausar. Verkliga sessioner pausar medan du läser och testerna körs, så per token kostar det mer än så.
- Ett team som delar endpointen: med 8 samtidiga förfrågningar blir 8 × 35,2 tok/s cirka 1 miljon genererade tokens i timmen, cirka 0,78 USD per miljon.
- Prompttokens kostar inget extra. En agent skickar dina filer och hela konversationen igen vid varje tur, så på ett API med pris per token är det mesta av fakturan indata. Här är kostnaden tid: prefill i 5 705 tok/s.
Ställ det bredvid din egen API-faktura. För en enskild utvecklare vars kodningsabonnemang aldrig når sina gränser är abonnemanget förmodligen billigare. En Spark lönar sig när flera personer delar en endpoint, när hastighetsbegränsningar stoppar långa agentkörningar, eller när din kod inte ska skickas till en modelleverantör.
Begränsningar att känna till först
- Det är en medelstor öppen modell. Qwen3 Coder 30B är snabb här eftersom den läser cirka 3B parametrar per token. Den är ingen frontmodell, och jag har inte kört något kodningsbenchmark på den. Prova den på dina egna uppgifter innan du flyttar arbete till den.
- 32 768 tokens per förfrågan med förinställningen. En agent som läser många filer når den gränsen. Med upplägg 2 väljer du själv kontextlängden.
- Förinställningen körs bara på mina egna Sparks. När alla är uthyrda visar konsolen det. Partners Sparks kör upplägg 2.
- Förinställningens endpoint går via min gateway. Den är publik HTTPS, skyddad av din API-nyckel, och beroende på instansen avslutas TLS hos Cloudflare och min gateway innan förfrågan når Sparken (API:et rapporterar vilket, som
https_termination). För kod som inte ska passera någon av dem, använd SSH-tunneln i upplägg 2. - Sparken är ARM64. Din agent körs på din laptop, så det spelar sällan roll här, men allt du installerar på själva Sparken behöver en aarch64-version.
- Inget SLA och inga säkerhetskopior. Ha din kod i git på din sida; att avsluta raderar arbetsytan.
Var Sparks finns
Mina egna Sparks står i ett datacenter i Hradec Králové i Tjeckien. Partners Sparks ägs och driftas av partner i deras egna lokaler i USA, Sverige, Nederländerna, Slovakien och Hongkong. Konsolen visar landet, och om det är inom EES, innan du driftsätter. En partner har fysisk åtkomst till sin maskin, och en maskin utanför EES innebär att din data lämnar EU/EES, så välj den plats som passar din kod.
Pris
0,79 USD i timmen för en Spark, debiteras per minut från förbetald kredit. Första påfyllningen: betala 20 USD, få 30 USD i kredit. En stoppad instans behåller sin arbetsyta och debiteras med 75 % av timpriset. Avsluta den när du är klar så upphör faktureringen; då raderas arbetsytan. Priserna är exkl. moms där sådan tillkommer. Detaljer finns på prissidan.
Vem som driver detta
GPUwerk är nytt, så här är vem du skulle betala. Jag heter Samuel Seidel och är grundaren, och företaget är PRINT IT! SE, registrerat i Prag. Sedan september 2026 har 94 utvecklare startat 374 instanser (per den 9 november 2026). Tjänstens status är offentlig på status.gpuwerk.com. Frågor innan du börjar? Skriv via kontaktsidan; jag svarar själv.
Vanliga frågor
Kan jag använda pi eller OpenCode med förinställningen Qwen3 Coder 30B?
Inte som den är. Båda skickar verktygsanrop enligt OpenAI, och förinställningen startar vLLM utan --enable-auto-tool-choice, så vLLM avvisar de förfrågningarna. Driftsätt DGX OS-avbildningen i stället och servera modellen med llama.cpp och --jinja, som i upplägg 2 på den här sidan. aider och Continues chattläge fungerar med förinställningen oförändrad.
Hur snabb är Qwen3 Coder 30B på en DGX Spark?
På en av mina Sparks genererade den 80,9 tokens per sekund för en enda förfrågan, och 35,2 per förfrågan med 8 förfrågningar samtidigt (vLLM 0.27.1, AWQ 4-bitars, 2 september 2026). Den råa loggen är länkad på den här sidan. llama.cpp-utvecklarna rapporterar 61,1 tok/s i Q8_0.
Vad kostar en kodagent på en Spark?
0,79 USD i timmen, debiteras per minut från förbetald kredit, oavsett vad agenten skickar: 6,32 USD för en åttatimmarsdag. Första påfyllningen: betala 20 USD, få 30 USD i kredit. En stoppad instans debiteras med 75 % av timpriset; när du avslutar upphör faktureringen och arbetsytan raderas. Priserna är exkl. moms där sådan tillkommer.
Skickas min kod till en modelleverantör?
Inget tredjeparts modell-API är inblandat: modellen körs på den Spark du hyr, som ingen annan använder medan du har den. Förfrågningar till förinställningens HTTPS-endpoint går via GPUwerks gateway och, beroende på instansen, Cloudflare. En SSH-tunnel till en server som du startar själv undviker båda. På en partner-Spark har partnern fysisk åtkomst till maskinen.