DGX Spark/Programavimo agentai
Naudojimo atvejis · Programavimo agentai

Privatus programavimo agentas jūsų pačių DGX Spark

Autorius Samuel Seidel · Atnaujinta 2026 m. lapkričio 10 d. · 8 min. skaitymo

Išsinuomokite visą NVIDIA DGX Spark, paleiskite Qwen3 Coder 30B atvaizdą ir nukreipkite savo programavimo agentą į jo pateikiamą su OpenAI suderinamą galinį tašką. Kol įrenginys jūsų, niekas kitas jo nenaudoja, o valanda kainuoja 0,79 USD, kad ir kiek tokenų siųstų jūsų agentas. Viename iš mano Spark šis modelis generavo 80,9 tokeno per sekundę vienai užklausai (vLLM, 2026 m. rugsėjo 2 d., neapdorotas žurnalas).

Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Apmokestinama už minutę iš išankstinio kredito. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas. Konsolėje pasirinkite DGX Spark 1×, tada Qwen3 Coder 30B atvaizdą.

Kas yra įrenginyje

ĮrangaVienas NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB bendros atminties, 273 GB/s, 1 TB NVMe. Kol jis veikia, visas įrenginys priklauso jums.
ModelisQwen3-Coder-30B-A3B-Instruct AWQ 4 bitų formatu – ekspertų mišinio modelis, kuris kiekvienam tokenui nuskaito apie 3B iš savo 30B parametrų. Svoriai jau yra įrenginyje.
ServerisvLLM, aptarnaujantis modelį kaip qwen3-coder-30b su 32 768 tokenų kontekstu vienai užklausai
Galinis taškashttps://app-<instance-id>.gpuwerk.com/v1, suderinama su OpenAI, apsaugota API raktu su inferencijos apimtimi, kurį sukuriate konsolėje
ApvalkalasRoot terminalas naršyklėje, nereikia SSH rakto, arba root per SSH su jūsų raktu. Failai /workspace išlieka po paleidimų iš naujo.
KurŠis atvaizdas veikia mano nuosavuose Spark Hradec Králové, Čekijoje. Partnerių Spark siūlo DGX OS ir Ubuntu atvaizdus, kuriuose modelį paleidžiate patys (žr. antrąją sąranką toliau).

Koks jis greitas – išmatuota

2026 m. rugsėjo 2 d. paleidau vllm bench serve su šiuo modeliu viename iš savo Spark, kurio GPU nieko kito neveikė (vLLM 0.27.1, AWQ 4 bitų). Visa metodika ir 70B palyginimo paleidimas pateikti lyginamųjų testų puslapyje.

Užklausos vienu metuSugeneruota vienai užklausaiKaip tai atrodo naudojant
180,9 tok/sVienas kūrėjas: atsakymai srautu ateina greičiau, nei juos skaitote
835,2 tok/sNedidelė komanda, besidalijanti vienu galiniu tašku
3218,4 tok/sDaug lygiagrečių agentų paleidimų; kiekvienas sulėtėja

Užklausa nuskaitoma taip pat greitai: 8 192 tokenų užklausa apdorota 5 705 tok/s greičiu, apie 1,4 sekundės iki pirmojo tokeno. Tai etaloniniai paleidimai, o ne pažadas jūsų užklausoms. Šiandien paleistas išankstinis nustatymas gali naudoti naujesnę vLLM versiją, o ilgos agentų užklausos užtrunka ilgiau nei trumpi lyginamųjų testų.

Kurie agentai veikia su nepakeistu išankstiniu nustatymu

Programavimo agentai su modeliu bendrauja vienu iš dviejų būdų, ir tai lemia, kokios sąrankos jums reikia. Išankstinis nustatymas paleidžia vLLM tik su konteksto ir atminties ribomis (--max-model-len 32768 --gpu-memory-utilization 0.5). Jis neperduoda --enable-auto-tool-choice, o vLLM atmeta užklausas, prašančias automatinių įrankių iškvietimų, nebent serveris buvo paleistas su tuo parametru ir įrankių iškvietimų analizatoriumi.

1 sąranka: išankstinis nustatymas su aider

  1. Konsolėje pridėkite kredito, pasirinkite DGX Spark 1× ir Qwen3 Coder 30B atvaizdą, tada paleiskite. Apmokestinimas prasideda, kai egzempliorius praeina parengties patikrą ir rodo running.
  2. Konsolėje sukurkite API raktą su inferencijos apimtimi ir nukopijuokite HTTPS galinį tašką iš egzemplioriaus puslapio.
  3. Savo nešiojamajame kompiuteryje patikrinkite, ar galinis taškas atsako. Atsakyme nurodomas qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Tada savo saugykloje paleiskite aider. Prefiksas openai/ nurodo aider, kokiu API formatu kalbėti; jokia OpenAI paslauga nenaudojama.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Continue ir Cline nustatymai tam pačiam galiniam taškui pateikti puslapyje programavimo agentai su jūsų galiniu tašku.

2 sąranka: pi ar OpenCode su įrankių iškvietimais

Vietoj to paleiskite DGX OS atvaizdą. Sukompiliuokite llama.cpp GB10 ir paleiskite Qwen3 Coder su --jinja – tai pritaiko paties modelio pokalbio šabloną ir grąžina jo įrankių iškvietimus OpenAI formatu. Tai kompiliavimo žingsniai iš mano llama.cpp vadovo, vykdomi naršyklės terminale:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Serveris klauso tik 127.0.0.1, todėl jį pasiekite per SSH tunelį iš savo nešiojamojo kompiuterio. Tam egzemplioriuje reikia jūsų SSH rakto (dvi minutės). llama.cpp prižiūrėtojai šiam modeliui su Q8_0 DGX Spark įrenginyje praneša 61,1 tok/s (DGX Spark rezultatai, versija 7941); šio kelio pats nesu išmatavęs.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) tiekėjus nuskaito iš jūsų projekto opencode.json:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) nuskaito ~/.pi/agent/models.json. Laikykite contextWindow ne didesnį nei serverio -c, kitaip pi perpildo kontekstą ir serveris atmeta užklausą.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Tada savo saugykloje pi --model qwen3-coder. Serveris toliau veikia, kai agentas išjungiamas; dienos pabaigoje nutraukite egzempliorių konsolėje.

Ką nuperka valanda palyginti su API sąskaita

Spark kainuoja 0,79 USD per valandą, apmokestinama už minutę: 6,32 USD už aštuonių valandų darbo dieną, 132,72 USD už 21 tokią dieną. Ką už tai gaunate, priklauso nuo to, kiek jį apkraunate. Pagal mano skaičiavimus iš aukščiau išmatuotų greičių:

Palyginkite tai su savo API sąskaita. Vienam kūrėjui, kurio programavimo prenumerata niekada nepasiekia ribų, prenumerata tikriausiai pigesnė. Spark atsiperka, kai keli žmonės dalijasi vienu galiniu tašku, kai užklausų ribos sustabdo ilgus agentų paleidimus arba kai jūsų kodas neturėtų patekti pas modelio tiekėją.

Apribojimai, kuriuos verta žinoti iš anksto

Kur yra Spark

Mano nuosavi Spark yra duomenų centre Hradec Králové, Čekijoje. Partnerių Spark priklauso partneriams ir yra talpinami jų patalpose JAV, Švedijoje, Nyderlanduose, Slovakijoje ir Honkonge. Prieš paleidžiant konsolė rodo šalį ir ar ji yra EEE. Partneris turi fizinę prieigą prie savo įrenginio, o įrenginys už EEE ribų reiškia, kad jūsų duomenys palieka ES/EEE, todėl pasirinkite jūsų kodui tinkamą vietą.

Kaina

0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius išlaiko darbo sritį ir apmokestinamas 75% valandinio tarifo. Baigę darbą jį nutraukite, ir mokestis nebeskaičiuojamas; kartu ištrinama darbo sritis. Kainos nurodytos be PVM, kai jis taikomas. Išsamiau – kainų puslapyje.

Kas tai valdo

GPUwerk yra nauja, todėl štai kam mokėtumėte. Aš esu Samuel Seidel, įkūrėjas, o įmonė – PRINT IT! SE, registruota Prahoje. Nuo 2026 m. rugsėjo 94 kūrėjai paleido 374 egzempliorius (2026 m. lapkričio 9 d. duomenimis). Paslaugos būsena viešai skelbiama status.gpuwerk.com. Turite klausimų prieš pradėdami? Rašykite per kontaktų puslapį; atsakau pats.

DUK

Ar galiu naudoti pi ar OpenCode su Qwen3 Coder 30B išankstiniu nustatymu?

Ne tokiu pavidalu. Abu siunčia OpenAI įrankių iškvietimus, o išankstinis nustatymas paleidžia vLLM be --enable-auto-tool-choice, todėl vLLM tas užklausas atmeta. Vietoj to paleiskite DGX OS atvaizdą ir aptarnaukite modelį su llama.cpp ir --jinja, kaip šio puslapio 2 sąrankoje. aider ir Continue pokalbių režimas veikia su nepakeistu išankstiniu nustatymu.

Koks Qwen3 Coder 30B greitis DGX Spark įrenginyje?

Viename iš mano Spark jis generavo 80,9 tokeno per sekundę vienai užklausai ir 35,2 vienai užklausai esant 8 užklausoms vienu metu (vLLM 0.27.1, AWQ 4 bitų, 2026 m. rugsėjo 2 d.). Neapdorotas žurnalas susietas šiame puslapyje. llama.cpp prižiūrėtojai praneša 61,1 tok/s su Q8_0.

Kiek kainuoja programavimo agentas Spark įrenginyje?

0,79 USD per valandą, apmokestinama už minutę iš išankstinio kredito, kad ir ką siųstų agentas: 6,32 USD už aštuonių valandų darbo dieną. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius apmokestinamas 75% valandinio tarifo; nutraukus egzempliorių mokestis nebeskaičiuojamas, o darbo sritis ištrinama. Kainos nurodytos be PVM, kai jis taikomas.

Ar mano kodas patenka pas modelio tiekėją?

Jokia trečiosios šalies modelio API nedalyvauja: modelis veikia jūsų nuomojamame Spark, kurio niekas kitas nenaudoja, kol jis jūsų. Užklausos į išankstinio nustatymo HTTPS galinį tašką eina per GPUwerk šliuzą ir, priklausomai nuo egzemplioriaus, Cloudflare. SSH tunelis į jūsų pačių paleistą serverį išvengia abiejų. Partnerio Spark atveju partneris turi fizinę prieigą prie įrenginio.

Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito

Nukreipkite savo agentą į savo Spark.

Dedikuotas DGX Spark su paruoštu naudoti Qwen3 Coder 30B, 0,79 USD/val., apmokestinama už minutę. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.

Paleisti dabar