DGX Spark/Kodeagenter
Bruksområde · Kodeagenter

En privat kodeagent på din egen DGX Spark

Av Samuel Seidel · Oppdatert 10. november 2026 · 8 min lesetid

Lei en hel NVIDIA DGX Spark, start Qwen3 Coder 30B-imaget, og pek kodeagenten din mot det OpenAI-kompatible endepunktet den serverer. Ingen andre bruker maskinen mens du har den, og en time koster 0 $,79 uansett hvor mange tokens agenten din sender. På en av Spark-maskinene mine genererte denne modellen 80,9 tokens per sekund for én forespørsel (vLLM, 2. september 2026, rålogg).

Første påfylling: betal 20 $, få 30 $ i kreditt. Fakturert per minutt fra forhåndsbetalt kreditt. Avslutt når du er ferdig, så stopper faktureringen. I konsollen velger du DGX Spark 1× og deretter Qwen3 Coder 30B-imaget.

Hva som ligger på maskinen

MaskinvareÉn NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB enhetlig minne på 273 GB/s, 1 TB NVMe. Hele maskinen er din mens den kjører.
ModellQwen3-Coder-30B-A3B-Instruct i AWQ 4-bit, en mixture-of-experts-modell som leser omtrent 3B av sine 30B parametere per token. Vektene ligger allerede på maskinen.
ServervLLM, som serverer modellen som qwen3-coder-30b med en kontekst på 32 768 tokens per forespørsel
Endepunkthttps://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibelt, beskyttet av en API-nøkkel med inferens-omfang som du oppretter i konsollen
SkallEn root-terminal i nettleseren, uten behov for SSH-nøkkel, eller root over SSH med din egen nøkkel. Filer under /workspace overlever omstarter.
HvorDette imaget kjører på mine egne Spark-maskiner i Hradec Králové i Tsjekkia. Partnermaskiner tilbyr DGX OS- og Ubuntu-imagene, der du starter modellen selv (se det andre oppsettet nedenfor).

Hvor rask den er, målt

Jeg kjørte vllm bench serve mot denne modellen på en av Spark-maskinene mine uten noe annet på GPU-en, 2. september 2026 (vLLM 0.27.1, AWQ 4-bit). Hele metoden og sammenligningskjøringen med 70B står på benchmarksiden.

Forespørsler samtidigGenerert per forespørselHvordan det føles
180,9 tok/sÉn utvikler: svarene strømmer raskere enn du leser dem
835,2 tok/sEt lite team som deler ett endepunkt
3218,4 tok/sMange parallelle agentkjøringer; hver av dem blir tregere

Det går også raskt å lese prompten: en prompt på 8 192 tokens gikk inn med 5 705 tok/s, omtrent 1,4 sekunder før første token. Dette er referansekjøringer, ikke et løfte for dine prompter. En forhåndsinnstilling du deployer i dag, kan kjøre en nyere vLLM-build, og lange agentprompter tar lengre tid enn korte benchmarkprompter.

Hvilke agenter som fungerer med forhåndsinnstillingen slik den er

Kodeagenter snakker med en modell på én av to måter, og det avgjør hvilket oppsett du trenger. Forhåndsinnstillingen starter vLLM bare med en kontekstgrense og en minnegrense (--max-model-len 32768 --gpu-memory-utilization 0.5). Den sender ikke --enable-auto-tool-choice, og vLLM avviser forespørsler som ber om automatiske verktøykall med mindre serveren ble startet med det flagget og en parser for verktøykall.

Oppsett 1: forhåndsinnstillingen med aider

  1. I konsollen legger du til kreditt, velger DGX Spark 1× og Qwen3 Coder 30B-imaget, og deployer. Faktureringen starter når instansen har bestått klarsjekken og viser running.
  2. Opprett en API-nøkkel med inferens-omfang i konsollen, og kopier HTTPS-endepunktet fra instanssiden.
  3. Sjekk på den bærbare datamaskinen din at endepunktet svarer. Svaret viser qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Start deretter aider i repositoriet ditt. Prefikset openai/ forteller aider hvilket API-format den skal bruke; ingen OpenAI-tjeneste er involvert.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Innstillinger for Continue og Cline mot samme endepunkt finner du i kodeagenter mot ditt eget endepunkt.

Oppsett 2: pi eller OpenCode, med verktøykall

Deploy DGX OS-imaget i stedet. Bygg llama.cpp for GB10 og start Qwen3 Coder med --jinja, som bruker modellens egen chattemal og returnerer verktøykallene i OpenAI-formatet. Dette er byggetrinnene fra min llama.cpp-guide, kjørt i nettleserterminalen:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Serveren lytter bare på 127.0.0.1, så du når den gjennom en SSH-tunnel fra den bærbare datamaskinen din. Det krever din egen SSH-nøkkel på instansen (to minutter). Vedlikeholderne av llama.cpp rapporterer 61,1 tok/s for denne modellen ved Q8_0 på en DGX Spark (DGX Spark-resultater, build 7941); jeg har ikke målt denne veien selv.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) leser leverandører fra opencode.json i prosjektet ditt:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) leser ~/.pi/agent/models.json. Hold contextWindow på eller under serverens -c, ellers overfyller pi konteksten og serveren avviser forespørselen.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Kjør deretter pi --model qwen3-coder i repositoriet ditt. Serveren fortsetter å kjøre når agenten avsluttes; avslutt instansen i konsollen når dagen er over.

Hva en time gir deg, sammenlignet med en API-regning

En Spark koster 0 $,79 i timen, fakturert per minutt: 6 $,32 for en åttetimers arbeidsdag, 132 $,72 for 21 slike dager. Hva du får for det, avhenger av hvor travel du holder den. Etter min utregning fra de målte hastighetene ovenfor:

Legg disse ved siden av din egen API-faktura. For én utvikler som aldri når grensene i kodeabonnementet sitt, er abonnementet trolig billigere. En Spark lønner seg når flere deler ett endepunkt, når hastighetsgrenser stopper lange agentkjøringer, eller når koden din ikke bør gå til en modelleverandør.

Begrensninger du bør kjenne til først

Hvor Spark-maskinene står

Mine egne Spark-maskiner står i et datasenter i Hradec Králové i Tsjekkia. Partnermaskiner eies og driftes av partnere i deres egne lokaler i USA, Sverige, Nederland, Slovakia og Hongkong. Konsollen viser landet, og om det er i EØS, før du deployer. En partner har fysisk tilgang til maskinen sin, og en maskin utenfor EØS betyr at dataene dine forlater EU/EØS, så velg den lokasjonen som passer koden din.

Pris

0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans beholder arbeidsområdet og faktureres med 75 % av timeprisen. Avslutt den når du er ferdig, så stopper faktureringen; da slettes arbeidsområdet. Prisene er uten mva. der det gjelder. Detaljer finner du på prissiden.

Hvem som driver dette

GPUwerk er nytt, så her er hvem du ville betalt. Jeg er Samuel Seidel, grunnleggeren, og selskapet er PRINT IT! SE, registrert i Praha. Siden september 2026 har 94 utviklere startet 374 instanser (per 9. november 2026). Tjenestestatusen er offentlig på status.gpuwerk.com. Spørsmål før du starter? Skriv via kontaktsiden; jeg svarer selv.

Spørsmål og svar

Kan jeg bruke pi eller OpenCode med Qwen3 Coder 30B-forhåndsinnstillingen?

Ikke slik den er. Begge sender OpenAI-verktøykall, og forhåndsinnstillingen starter vLLM uten --enable-auto-tool-choice, så vLLM avviser de forespørslene. Deploy DGX OS-imaget i stedet og server modellen med llama.cpp og --jinja, som i oppsett 2 på denne siden. aider og chatmodusen i Continue fungerer med forhåndsinnstillingen uendret.

Hvor rask er Qwen3 Coder 30B på en DGX Spark?

På en av Spark-maskinene mine genererte den 80,9 tokens per sekund for én forespørsel, og 35,2 per forespørsel med 8 forespørsler samtidig (vLLM 0.27.1, AWQ 4-bit, 2. september 2026). Råloggen er lenket på denne siden. Vedlikeholderne av llama.cpp rapporterer 61,1 tok/s ved Q8_0.

Hva koster en kodeagent på en Spark?

0 $,79 i timen, fakturert per minutt fra forhåndsbetalt kreditt, uansett hva agenten sender: 6 $,32 for en åttetimers arbeidsdag. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans faktureres med 75 % av timeprisen; avslutning stopper faktureringen og sletter arbeidsområdet. Prisene er uten mva. der det gjelder.

Går koden min til en modelleverandør?

Ingen tredjeparts modell-API er involvert: modellen kjører på Spark-maskinen du leier, som ingen andre bruker mens du har den. Forespørsler til forhåndsinnstillingens HTTPS-endepunkt går gjennom GPUwerks gateway og, avhengig av instansen, Cloudflare. En SSH-tunnel til en server du starter selv, unngår begge. På en partner-Spark har partneren fysisk tilgang til maskinen.

Første påfylling: betal 20 $, få 30 $ i kreditt

Pek agenten din mot en Spark du har for deg selv.

En dedikert DGX Spark med Qwen3 Coder 30B klar til bruk, 0 $,79/h fakturert per minutt. Avslutt når du er ferdig, så stopper faktureringen.

Deploy nå