DGX Spark/Aġenti tal-kodiċi
Każ ta' użu · Aġenti tal-kodiċi

Aġent ta' kodiċi privat fuq id-DGX Spark tiegħek stess

Minn Samuel Seidel · Aġġornat 10 ta' Novembru 2026 · 8 min qari

Ikri NVIDIA DGX Spark sħiħ, ibda l-image Qwen3 Coder 30B, u immira l-aġent tal-kodiċi tiegħek lejn l-endpoint kompatibbli ma' OpenAI li jaqdi. Ħadd ieħor ma juża l-magna waqt li tkun tiegħek, u siegħa tiswa $0.79 ikun kemm ikun it-tokens li jibgħat l-aġent tiegħek. Fuq wieħed mis-Sparks tiegħi dan il-mudell iġġenera 80.9 tokens fis-sekonda għal talba waħda (vLLM, 2 ta' Settembru 2026, reġistru mhux ipproċessat).

L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Iffatturat bil-minuta minn kreditu mħallas minn qabel. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf. Fil-console, agħżel DGX Spark 1× u mbagħad l-image Qwen3 Coder 30B.

X'hemm fuq il-magna

HardwareNVIDIA DGX Spark wieħed: GB10 Grace Blackwell, 128 GB ta' memorja unifikata b'273 GB/s, 1 TB NVMe. Il-magna kollha hija tiegħek waqt li taħdem.
MudellQwen3-Coder-30B-A3B-Instruct f'AWQ 4-bit, mudell mixture-of-experts li jaqra madwar 3B mit-30B parametru tiegħu kull token. Il-piżijiet diġà jinsabu fuq il-magna.
ServervLLM, li jaqdi l-mudell bħala qwen3-coder-30b b'kuntest ta' 32,768 token għal kull talba
Endpointhttps://app-<instance-id>.gpuwerk.com/v1, kompatibbli ma' OpenAI, protett b'key tal-API bl-ambitu tal-inferenza li toħloq inti fil-console
ShellTerminal root fil-browser, ebda ċavetta SSH meħtieġa, jew root permezz ta' SSH biċ-ċavetta tiegħek. Il-fajls taħt /workspace jibqgħu wara r-restarts.
FejnDan l-image jaħdem fuq is-Sparks tiegħi stess f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab joffru l-images DGX OS u Ubuntu, fejn tibda l-mudell inti stess (ara t-tieni setup hawn taħt).

Kemm hu mgħaġġel, imkejjel

Ħaddimt vllm bench serve fuq dan il-mudell fuq wieħed mis-Sparks tiegħi mingħajr xejn ieħor fuq il-GPU tiegħu, fit-2 ta' Settembru 2026 (vLLM 0.27.1, AWQ 4-bit). Il-metodu sħiħ u l-prova ta' tqabbil mal-70B jinsabu fuq il-paġna tal-benchmarks.

Talbiet f'daqqaIġġenerati għal kull talbaKif tħossu
180.9 tok/sŻviluppatur wieħed: it-tweġibiet jiġu aktar malajr milli taqrahom
835.2 tok/sTim żgħir li jaqsam endpoint wieħed
3218.4 tok/sĦafna provi ta' aġenti f'parallel; kull waħda tbatti

Il-qari tal-prompt huwa mgħaġġel ukoll: prompt ta' 8,192 token daħal b'5,705 tok/s, madwar 1.4 sekondi qabel l-ewwel token. Dawn huma provi ta' referenza, mhux wegħda għall-prompts tiegħek. Preset li tiddeploja llum jista' jħaddem build ta' vLLM aktar ġdid, u l-prompts twal tal-aġenti jieħdu aktar mill-prompts qosra tal-benchmarks.

Liema aġenti jaħdmu bil-preset kif inhu

L-aġenti tal-kodiċi jitkellmu ma' mudell b'wieħed minn żewġ modi, u dan jiddetermina liema setup teħtieġ. Il-preset jibda vLLM b'limitu tal-kuntest u limitu tal-memorja biss (--max-model-len 32768 --gpu-memory-utilization 0.5). Ma jgħaddix --enable-auto-tool-choice, u vLLM jirrifjuta talbiet li jitolbu tool calls awtomatiċi sakemm is-server ma jkunx inbeda b'dik il-flag u b'parser tat-tool calls.

Setup 1: il-preset ma' aider

  1. Fil-console, żid kreditu, agħżel DGX Spark 1× u l-image Qwen3 Coder 30B, u ddeploja. Il-fatturazzjoni tibda ladarba l-istanza tgħaddi l-verifika tat-tħejjija u turi running.
  2. Oħloq key tal-API bl-ambitu tal-inferenza fil-console, u kkopja l-endpoint HTTPS mill-paġna tal-istanza.
  3. Fuq il-laptop tiegħek, iċċekkja li l-endpoint iwieġeb. It-tweġiba telenka qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Imbagħad ibda aider fir-repożitorju tiegħek. Il-prefiss openai/ jgħid lil aider liema format ta' API għandu jitkellem; ebda servizz ta' OpenAI mhu involut.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Is-settings ta' Continue u Cline għall-istess endpoint jinsabu f'aġenti tal-kodiċi mal-endpoint tiegħek stess.

Setup 2: pi jew OpenCode, bit-tool calls

Minflok iddeploja l-image DGX OS. Ibni llama.cpp għall-GB10 u ibda Qwen3 Coder b'--jinja, li japplika t-template tal-chat tal-mudell innifsu u jagħti lura t-tool calls tiegħu fil-format ta' OpenAI. Dawn huma l-passi tal-bini mill-gwida tal-llama.cpp tiegħi, imħaddma fit-terminal tal-browser:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Is-server jisma' biss fuq 127.0.0.1, għalhekk ilħqu permezz ta' tunnel SSH mil-laptop tiegħek. Dak jeħtieġ iċ-ċavetta SSH tiegħek stess fuq l-istanza (żewġ minuti). Dawk li jżommu llama.cpp jirrappurtaw 61.1 tok/s għal dan il-mudell f'Q8_0 fuq DGX Spark (riżultati tad-DGX Spark, build 7941); jien ma kejjiltx din ir-rotta.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) jaqra l-fornituri minn opencode.json fil-proġett tiegħek:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) jaqra ~/.pi/agent/models.json. Żomm contextWindow daqs jew inqas mill--c tas-server, inkella pi jimla l-kuntest iżżejjed u s-server jirrifjuta t-talba.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Imbagħad pi --model qwen3-coder fir-repożitorju tiegħek. Is-server jibqa' jaħdem meta joħroġ l-aġent; ittermina l-istanza fil-console meta tispiċċa l-ġurnata.

X'tixtri siegħa, ħdejn kont ta' API

Spark jiswa $0.79 fis-siegħa, iffatturat bil-minuta: $6.32 għal ġurnata ta' tmien sigħat, $132.72 għal 21 ġurnata bħal dik. X'tikseb għal dak jiddependi minn kemm iżżommu okkupat. Skont il-kalkoli tiegħi mill-veloċitajiet imkejla hawn fuq:

Qiegħed dawk ħdejn il-fattura tal-API tiegħek. Għal żviluppatur wieħed li l-abbonament tiegħu għall-kodiċi qatt ma jilħaq il-limiti tiegħu, l-abbonament probabbilment huwa orħos. Spark jaqbel meta diversi nies jaqsmu endpoint wieħed, meta l-limiti tar-rata jwaqqfu ħidmiet twal ta' aġenti, jew meta l-kodiċi tiegħek ma għandux imur għand fornitur ta' mudelli.

Limiti li għandek tkun taf l-ewwel

Fejn jinsabu s-Sparks

Is-Sparks tiegħi stess jinsabu f'datacenter f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab huma proprjetà ta' sħab u ospitati minnhom fil-postijiet tagħhom fl-Istati Uniti, fl-Iżvezja, fil-Pajjiżi l-Baxxi, fis-Slovakkja u f'Hong Kong. Il-console turi l-pajjiż, u jekk hux fiż-ŻEE, qabel ma tiddeploja. Sieħeb għandu aċċess fiżiku għall-magna tiegħu, u magna barra miż-ŻEE tfisser li d-data tiegħek toħroġ mill-UE/ŻEE, għalhekk agħżel il-post li jaqbel mal-kodiċi tiegħek.

Prezz

$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa żżomm l-ispazju tax-xogħol tagħha u tiġi ffatturata b'75% tar-rata kull siegħa. Itterminaha meta tispiċċa u l-fatturazzjoni tieqaf; dan iħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli. Id-dettalji jinsabu fil-paġna tal-prezzijiet.

Min imexxi dan

GPUwerk hija ġdida, għalhekk hawn lil min tkun qed tħallas. Jien Samuel Seidel, il-fundatur, u l-kumpanija hija PRINT IT! SE, irreġistrata fi Praga. Minn Settembru 2026, 94 żviluppatur bdew 374 istanza (sad-9 ta' Novembru 2026). L-istatus tas-servizz huwa pubbliku fuq status.gpuwerk.com. Mistoqsijiet qabel ma tibda? Iktibli mill-paġna tal-kuntatt; inwieġeb jien stess.

Mistoqsijiet frekwenti

Nista' nuża pi jew OpenCode bil-preset Qwen3 Coder 30B?

Mhux kif inhu. It-tnejn jibagħtu tool calls ta' OpenAI, u l-preset jibda vLLM mingħajr --enable-auto-tool-choice, għalhekk vLLM jirrifjuta dawk it-talbiet. Minflok iddeploja l-image DGX OS u aqdi l-mudell b'llama.cpp u --jinja, bħal fis-setup 2 fuq din il-paġna. aider u l-modalità chat ta' Continue jaħdmu bil-preset kif inhu.

Kemm hu mgħaġġel Qwen3 Coder 30B fuq DGX Spark?

Fuq wieħed mis-Sparks tiegħi ġġenera 80.9 tokens fis-sekonda għal talba waħda, u 35.2 għal kull talba b'8 talbiet f'daqqa (vLLM 0.27.1, AWQ 4-bit, 2 ta' Settembru 2026). Ir-reġistru mhux ipproċessat huwa llinkjat f'din il-paġna. Dawk li jżommu llama.cpp jirrappurtaw 61.1 tok/s f'Q8_0.

Kemm jiswa aġent tal-kodiċi fuq Spark?

$0.79 fis-siegħa, iffatturat bil-minuta minn kreditu mħallas minn qabel, irrispettivament minn dak li jibgħat l-aġent: $6.32 għal ġurnata ta' tmien sigħat. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa tiġi ffatturata b'75% tar-rata kull siegħa; it-terminazzjoni ttemm il-fatturazzjoni u tħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli.

Il-kodiċi tiegħi jmur għand fornitur ta' mudelli?

Ebda API ta' mudell ta' parti terza mhija involuta: il-mudell jaħdem fuq l-Spark li tikri, li ħadd ieħor ma juża waqt li jkun tiegħek. It-talbiet lill-endpoint HTTPS tal-preset jgħaddu mill-gateway ta' GPUwerk u, skont l-istanza, minn Cloudflare. Tunnel SSH lejn server li tibda inti stess tevita t-tnejn. Fuq Spark ta' sieħeb, is-sieħeb għandu aċċess fiżiku għall-magna.

L-ewwel top-up: ħallas $20, ikseb $30 kreditu

Immira l-aġent tiegħek lejn Spark tiegħek.

DGX Spark dedikat b'Qwen3 Coder 30B lest biex iservi, $0.79/h iffatturat bil-minuta. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf.

Iddeploja issa