En privat kodeagent på din egen DGX Spark
Lei en hel NVIDIA DGX Spark, start Qwen3 Coder 30B-imaget, og pek kodeagenten din mot det OpenAI-kompatible endepunktet den serverer. Ingen andre bruker maskinen mens du har den, og en time koster 0 $,79 uansett hvor mange tokens agenten din sender. På en av Spark-maskinene mine genererte denne modellen 80,9 tokens per sekund for én forespørsel (vLLM, 2. september 2026, rålogg).
Første påfylling: betal 20 $, få 30 $ i kreditt. Fakturert per minutt fra forhåndsbetalt kreditt. Avslutt når du er ferdig, så stopper faktureringen. I konsollen velger du DGX Spark 1× og deretter Qwen3 Coder 30B-imaget.
Hva som ligger på maskinen
| Maskinvare | Én NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB enhetlig minne på 273 GB/s, 1 TB NVMe. Hele maskinen er din mens den kjører. |
|---|---|
| Modell | Qwen3-Coder-30B-A3B-Instruct i AWQ 4-bit, en mixture-of-experts-modell som leser omtrent 3B av sine 30B parametere per token. Vektene ligger allerede på maskinen. |
| Server | vLLM, som serverer modellen som qwen3-coder-30b med en kontekst på 32 768 tokens per forespørsel |
| Endepunkt | https://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibelt, beskyttet av en API-nøkkel med inferens-omfang som du oppretter i konsollen |
| Skall | En root-terminal i nettleseren, uten behov for SSH-nøkkel, eller root over SSH med din egen nøkkel. Filer under /workspace overlever omstarter. |
| Hvor | Dette imaget kjører på mine egne Spark-maskiner i Hradec Králové i Tsjekkia. Partnermaskiner tilbyr DGX OS- og Ubuntu-imagene, der du starter modellen selv (se det andre oppsettet nedenfor). |
Hvor rask den er, målt
Jeg kjørte vllm bench serve mot denne modellen på en av Spark-maskinene mine uten noe annet på GPU-en, 2. september 2026 (vLLM 0.27.1, AWQ 4-bit). Hele metoden og sammenligningskjøringen med 70B står på benchmarksiden.
| Forespørsler samtidig | Generert per forespørsel | Hvordan det føles |
|---|---|---|
| 1 | 80,9 tok/s | Én utvikler: svarene strømmer raskere enn du leser dem |
| 8 | 35,2 tok/s | Et lite team som deler ett endepunkt |
| 32 | 18,4 tok/s | Mange parallelle agentkjøringer; hver av dem blir tregere |
Det går også raskt å lese prompten: en prompt på 8 192 tokens gikk inn med 5 705 tok/s, omtrent 1,4 sekunder før første token. Dette er referansekjøringer, ikke et løfte for dine prompter. En forhåndsinnstilling du deployer i dag, kan kjøre en nyere vLLM-build, og lange agentprompter tar lengre tid enn korte benchmarkprompter.
Hvilke agenter som fungerer med forhåndsinnstillingen slik den er
Kodeagenter snakker med en modell på én av to måter, og det avgjør hvilket oppsett du trenger. Forhåndsinnstillingen starter vLLM bare med en kontekstgrense og en minnegrense (--max-model-len 32768 --gpu-memory-utilization 0.5). Den sender ikke --enable-auto-tool-choice, og vLLM avviser forespørsler som ber om automatiske verktøykall med mindre serveren ble startet med det flagget og en parser for verktøykall.
- aider ber om endringer som tekst og trenger ikke verktøykall, så det fungerer med forhåndsinnstillingen uendret. Det samme gjør chat- og redigeringsmodusen i Continue.
- pi og OpenCode er bygd på verktøykall, det samme er agentmodusen i Continue. For dem serverer du modellen selv med verktøykall slått på. Det tar omtrent 15 minutter, og det fungerer på alle Spark-maskiner, også partnermaskiner.
Oppsett 1: forhåndsinnstillingen med aider
- I konsollen legger du til kreditt, velger DGX Spark 1× og Qwen3 Coder 30B-imaget, og deployer. Faktureringen starter når instansen har bestått klarsjekken og viser running.
- Opprett en API-nøkkel med inferens-omfang i konsollen, og kopier HTTPS-endepunktet fra instanssiden.
- Sjekk på den bærbare datamaskinen din at endepunktet svarer. Svaret viser
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Start deretter aider i repositoriet ditt. Prefikset openai/ forteller aider hvilket API-format den skal bruke; ingen OpenAI-tjeneste er involvert.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Innstillinger for Continue og Cline mot samme endepunkt finner du i kodeagenter mot ditt eget endepunkt.
Oppsett 2: pi eller OpenCode, med verktøykall
Deploy DGX OS-imaget i stedet. Bygg llama.cpp for GB10 og start Qwen3 Coder med --jinja, som bruker modellens egen chattemal og returnerer verktøykallene i OpenAI-formatet. Dette er byggetrinnene fra min llama.cpp-guide, kjørt i nettleserterminalen:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Serveren lytter bare på 127.0.0.1, så du når den gjennom en SSH-tunnel fra den bærbare datamaskinen din. Det krever din egen SSH-nøkkel på instansen (to minutter). Vedlikeholderne av llama.cpp rapporterer 61,1 tok/s for denne modellen ved Q8_0 på en DGX Spark (DGX Spark-resultater, build 7941); jeg har ikke målt denne veien selv.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) leser leverandører fra opencode.json i prosjektet ditt:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) leser ~/.pi/agent/models.json. Hold contextWindow på eller under serverens -c, ellers overfyller pi konteksten og serveren avviser forespørselen.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Kjør deretter pi --model qwen3-coder i repositoriet ditt. Serveren fortsetter å kjøre når agenten avsluttes; avslutt instansen i konsollen når dagen er over.
Hva en time gir deg, sammenlignet med en API-regning
En Spark koster 0 $,79 i timen, fakturert per minutt: 6 $,32 for en åttetimers arbeidsdag, 132 $,72 for 21 slike dager. Hva du får for det, avhenger av hvor travel du holder den. Etter min utregning fra de målte hastighetene ovenfor:
- Én utvikler, én forespørsel om gangen: 80,9 tok/s er maksimalt omtrent 291 000 genererte tokens i timen, eller 2 $,71 per million hvis modellen aldri tar pause. Ekte økter tar pauser mens du leser og tester kjører, så per token koster det mer enn det.
- Et team som deler endepunktet: med 8 forespørsler samtidig blir 8 × 35,2 tok/s omtrent 1 million genererte tokens i timen, omtrent 0 $,78 per million.
- Prompttokens koster ikke noe ekstra. En agent sender filene dine og hele samtalen på nytt ved hver runde, så på et API med betaling per token er det meste av regningen inndata. Her er kostnaden tid: prefill på 5 705 tok/s.
Legg disse ved siden av din egen API-faktura. For én utvikler som aldri når grensene i kodeabonnementet sitt, er abonnementet trolig billigere. En Spark lønner seg når flere deler ett endepunkt, når hastighetsgrenser stopper lange agentkjøringer, eller når koden din ikke bør gå til en modelleverandør.
Begrensninger du bør kjenne til først
- Det er en mellomstor åpen modell. Qwen3 Coder 30B er rask her fordi den leser omtrent 3B parametere per token. Den er ikke en frontmodell, og jeg har ikke kjørt en kodebenchmark på den. Prøv den på dine egne oppgaver før du flytter arbeid over til den.
- 32 768 tokens per forespørsel med forhåndsinnstillingen. En agent som leser mange filer, når den grensen. Oppsett 2 lar deg velge kontekstlengden.
- Forhåndsinnstillingen kjører bare på mine egne Spark-maskiner. Når alle er utleid, viser konsollen det. Partnermaskiner kjører oppsett 2.
- Forhåndsinnstillingens endepunkt går gjennom min gateway. Det er offentlig HTTPS, beskyttet av API-nøkkelen din, og avhengig av instansen termineres TLS hos Cloudflare og min gateway før forespørselen når Spark-maskinen (API-et rapporterer hvilken, som
https_termination). For kode som ikke bør gå gjennom noen av dem, bruker du SSH-tunnelen fra oppsett 2. - Spark-maskinen er ARM64. Agenten din kjører på den bærbare datamaskinen din, så det betyr sjelden noe her, men alt du installerer på selve Spark-maskinen, trenger en aarch64-build.
- Ingen SLA og ingen sikkerhetskopier. Hold koden din i git på din side; avslutning sletter arbeidsområdet.
Hvor Spark-maskinene står
Mine egne Spark-maskiner står i et datasenter i Hradec Králové i Tsjekkia. Partnermaskiner eies og driftes av partnere i deres egne lokaler i USA, Sverige, Nederland, Slovakia og Hongkong. Konsollen viser landet, og om det er i EØS, før du deployer. En partner har fysisk tilgang til maskinen sin, og en maskin utenfor EØS betyr at dataene dine forlater EU/EØS, så velg den lokasjonen som passer koden din.
Pris
0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans beholder arbeidsområdet og faktureres med 75 % av timeprisen. Avslutt den når du er ferdig, så stopper faktureringen; da slettes arbeidsområdet. Prisene er uten mva. der det gjelder. Detaljer finner du på prissiden.
Hvem som driver dette
GPUwerk er nytt, så her er hvem du ville betalt. Jeg er Samuel Seidel, grunnleggeren, og selskapet er PRINT IT! SE, registrert i Praha. Siden september 2026 har 94 utviklere startet 374 instanser (per 9. november 2026). Tjenestestatusen er offentlig på status.gpuwerk.com. Spørsmål før du starter? Skriv via kontaktsiden; jeg svarer selv.
Spørsmål og svar
Kan jeg bruke pi eller OpenCode med Qwen3 Coder 30B-forhåndsinnstillingen?
Ikke slik den er. Begge sender OpenAI-verktøykall, og forhåndsinnstillingen starter vLLM uten --enable-auto-tool-choice, så vLLM avviser de forespørslene. Deploy DGX OS-imaget i stedet og server modellen med llama.cpp og --jinja, som i oppsett 2 på denne siden. aider og chatmodusen i Continue fungerer med forhåndsinnstillingen uendret.
Hvor rask er Qwen3 Coder 30B på en DGX Spark?
På en av Spark-maskinene mine genererte den 80,9 tokens per sekund for én forespørsel, og 35,2 per forespørsel med 8 forespørsler samtidig (vLLM 0.27.1, AWQ 4-bit, 2. september 2026). Råloggen er lenket på denne siden. Vedlikeholderne av llama.cpp rapporterer 61,1 tok/s ved Q8_0.
Hva koster en kodeagent på en Spark?
0 $,79 i timen, fakturert per minutt fra forhåndsbetalt kreditt, uansett hva agenten sender: 6 $,32 for en åttetimers arbeidsdag. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans faktureres med 75 % av timeprisen; avslutning stopper faktureringen og sletter arbeidsområdet. Prisene er uten mva. der det gjelder.
Går koden min til en modelleverandør?
Ingen tredjeparts modell-API er involvert: modellen kjører på Spark-maskinen du leier, som ingen andre bruker mens du har den. Forespørsler til forhåndsinnstillingens HTTPS-endepunkt går gjennom GPUwerks gateway og, avhengig av instansen, Cloudflare. En SSH-tunnel til en server du starter selv, unngår begge. På en partner-Spark har partneren fysisk tilgang til maskinen.