Zasebni agent za programiranje na vašem lastnem DGX Sparku
Najemite cel NVIDIA DGX Spark, zaženite odtis Qwen3 Coder 30B in svojega agenta za kodiranje usmerite na končno točko, združljivo z OpenAI, ki jo streže. Dokler je naprava vaša, je nihče drug ne uporablja, ura pa stane 0,79 USD ne glede na to, koliko tokenov pošlje vaš agent. Na enem od mojih Sparkov je ta model ustvaril 80,9 tokena na sekundo pri eni zahtevi (vLLM, 2. september 2026, surovi dnevnik).
Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Obračun po minutah iz predplačniškega dobroimetja. Ko končate, instanco odstranite in obračun se konča. V konzoli izberite DGX Spark 1× in nato odtis Qwen3 Coder 30B.
Kaj je na napravi
| Strojna oprema | En NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB enotnega pomnilnika s 273 GB/s, 1 TB NVMe. Med delovanjem je cela naprava vaša. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct v AWQ 4-bit, model z mešanico strokovnjakov, ki na token prebere približno 3 milijarde od svojih 30 milijard parametrov. Uteži so že na napravi. |
| Strežnik | vLLM, ki model streže kot qwen3-coder-30b s kontekstom 32.768 tokenov na zahtevo |
| Končna točka | https://app-<instance-id>.gpuwerk.com/v1, združljivo z OpenAI, zaščiteno s ključem API z obsegom za sklepanje, ki ga ustvarite v konzoli |
| Lupina | Terminal root v brskalniku, brez potrebe po ključu SSH, ali root prek SSH z lastnim ključem. Datoteke v /workspace preživijo ponovne zagone. |
| Kje | Ta odtis teče na mojih lastnih Sparkih v Hradcu Králové na Češkem. Partnerski Sparki ponujajo odtisa DGX OS in Ubuntu, kjer model zaženete sami (glejte drugo nastavitev spodaj). |
Kako hiter je, izmerjeno
Na enem od svojih Sparkov, na katerem ni bilo ničesar drugega na GPU-ju, sem 2. septembra 2026 pognal vllm bench serve na tem modelu (vLLM 0.27.1, AWQ 4-bitno). Celotna metoda in primerjalni zagon s 70B sta na strani z meritvami.
| Zahtev hkrati | Ustvarjeno na zahtevo | Kakšen je občutek |
|---|---|---|
| 1 | 80,9 tok/s | En razvijalec: odgovori prihajajo hitreje, kot jih berete |
| 8 | 35,2 tok/s | Majhna ekipa, ki si deli eno končno točko |
| 32 | 18,4 tok/s | Veliko vzporednih zagonov agenta; vsak od njih se upočasni |
Tudi branje poziva je hitro: poziv z 8.192 tokeni je bil obdelan s 5.705 tok/s, približno 1,4 sekunde pred prvim tokenom. To so referenčni zagoni, ne obljuba za vaše pozive. Prednastavitev, ki jo zaženete danes, morda poganja novejšo gradnjo vLLM, dolgi pozivi agentov pa trajajo dlje kot kratki pozivi pri meritvah.
Kateri agenti delujejo s prednastavitvijo takšno, kot je
Agenti za programiranje se z modelom pogovarjajo na enega od dveh načinov in od tega je odvisno, kakšno nastavitev potrebujete. Prednastavitev zažene vLLM samo z omejitvijo konteksta in omejitvijo pomnilnika (--max-model-len 32768 --gpu-memory-utilization 0.5). Ne poda --enable-auto-tool-choice, vLLM pa zavrne zahteve, ki prosijo za samodejne klice orodij, razen če je bil strežnik zagnan s to zastavico in razčlenjevalnikom klicev orodij.
- aider zahteva spremembe kot besedilo in ne potrebuje klicev orodij, zato deluje z nespremenjeno prednastavitvijo. Enako velja za način klepeta in urejanja v Continue.
- pi in OpenCode temeljita na klicih orodij, prav tako agentni način Continue. Zanju model strežite sami z vklopljenim klicanjem orodij. Traja približno 15 minut in deluje na vsakem Sparku, vključno s partnerskimi napravami.
Nastavitev 1: prednastavitev z aiderjem
- V konzoli dodajte dobroimetje, izberite DGX Spark 1× in odtis Qwen3 Coder 30B ter namestite. Obračun se začne, ko instanca prestane preverjanje pripravljenosti in pokaže stanje running.
- V konzoli ustvarite ključ API z obsegom za sklepanje in s strani instance prekopirajte končno točko HTTPS.
- Na svojem prenosniku preverite, ali se končna točka odziva. Odgovor navaja
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Nato v svojem repozitoriju zaženite aider. Predpona openai/ aiderju pove, katero obliko API naj govori; nobena storitev OpenAI pri tem ni vpletena.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Nastavitve za Continue in Cline za isto končno točko so v članku agenti za programiranje na vaši lastni končni točki.
Nastavitev 2: pi ali OpenCode, s klici orodij
Namesto tega namestite odtis DGX OS. Zgradite llama.cpp za GB10 in zaženite Qwen3 Coder z --jinja, ki uporabi modelu lastno predlogo za klepet in njegove klice orodij vrne v obliki OpenAI. To so koraki gradnje iz mojega vodnika za llama.cpp, izvedeni v terminalu v brskalniku:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Strežnik posluša le na 127.0.0.1, zato do njega dostopajte prek tunela SSH s prenosnika. Za to potrebujete lasten ključ SSH na instanci (dve minuti). Vzdrževalci llama.cpp za ta model pri Q8_0 na DGX Sparku poročajo o 61,1 tok/s (rezultati za DGX Spark, gradnja 7941); sam te poti nisem izmeril.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) bere ponudnike iz opencode.json v vašem projektu:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) bere ~/.pi/agent/models.json. contextWindow naj bo enak ali manjši od strežnikovega -c, sicer pi prepolni kontekst in strežnik zahtevo zavrne.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Nato v svojem repozitoriju poženite pi --model qwen3-coder. Strežnik teče naprej, ko agent konča; ko je dan končan, instanco odstranite v konzoli.
Kaj dobite za uro, ob računu za API
Spark stane 0,79 USD na uro z obračunom po minutah: 6,32 USD za osemurni dan, 132,72 USD za 21 takih dni. Kaj za to dobite, je odvisno od tega, kako zaposlen ga imate. Po mojem izračunu iz zgoraj izmerjenih hitrosti:
- En razvijalec, ena zahteva naenkrat: 80,9 tok/s je največ približno 291.000 ustvarjenih tokenov na uro ali 2,71 USD na milijon, če model nikoli ne miruje. Prave seje mirujejo, medtem ko berete in tečejo testi, zato je cena na token višja.
- Ekipa, ki si deli končno točko: pri 8 hkratnih zahtevah je 8 × 35,2 tok/s približno 1 milijon generiranih tokenov na uro, približno 0,78 USD na milijon.
- Tokeni pozivov ne stanejo nič dodatno. Agent ob vsakem koraku znova pošlje vaše datoteke in celoten pogovor, zato je pri API z obračunom po tokenih večina računa vhod. Tu je strošek čas: predobdelava s 5.705 tok/s.
To postavite ob svoj račun za API. Za enega razvijalca, katerega naročnina za kodiranje nikoli ne doseže omejitev, je naročnina verjetno cenejša. Spark se izplača, ko si več ljudi deli eno končno točko, ko omejitve hitrosti ustavljajo dolge zagone agentov ali ko vaša koda ne sme k ponudniku modela.
Omejitve, ki jih velja poznati
- Gre za odprt model srednje velikosti. Qwen3 Coder 30B je tu hiter, ker na token prebere približno 3B parametrov. Ni vrhunski model in na njem nisem pognal nobene meritve za programiranje. Preizkusite ga na svojih nalogah, preden nanj preselite delo.
- 32.768 tokenov na zahtevo pri prednastavitvi. Agent, ki bere veliko datotek, to doseže. Nastavitev 2 vam omogoča izbiro dolžine konteksta.
- Prednastavitev teče le na mojih lastnih Sparkih. Ko so vsi oddani, konzola to pokaže. Partnerski Sparki poganjajo nastavitev 2.
- Končna točka prednastavitve gre skozi moj prehod. Je javni HTTPS, zaščiten z vašim ključem API, odvisno od instance pa se TLS zaključi pri Cloudflare in mojem prehodu, preden zahteva doseže Spark (API pove, kje, kot
https_termination). Za kodo, ki ne sme skozi nobenega od njiju, uporabite tunel SSH iz nastavitve 2. - Spark je ARM64. Vaš agent teče na vašem prenosniku, zato to tukaj redko igra vlogo, a vse, kar namestite na sam Spark, potrebuje gradnjo za aarch64.
- Brez SLA in brez varnostnih kopij. Svojo kodo hranite v gitu pri sebi; odstranitev izbriše delovni prostor.
Kje so Sparki
Moji lastni Sparki so v podatkovnem centru v Hradcu Králové na Češkem. Partnerski Sparki so v lasti partnerjev, ki jih gostijo v svojih prostorih v ZDA, na Švedskem, Nizozemskem, Slovaškem in v Hongkongu. Konzola pred zagonom pokaže državo in ali je ta v EGP. Partner ima fizični dostop do svoje naprave, naprava zunaj EGP pa pomeni, da vaši podatki zapustijo EU/EGP, zato izberite lokacijo, ki ustreza vaši kodi.
Cena
0,79 USD na uro za en Spark, obračun po minutah iz predplačniškega dobroimetja. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ustavljena instanca ohrani delovni prostor in se obračunava po 75 % urne cene. Ko končate, jo odstranite in obračun se konča; s tem se izbriše delovni prostor. Cene ne vključujejo DDV, kjer se ta obračuna. Podrobnosti so na strani s cenami.
Kdo to vodi
GPUwerk je nov, zato tukaj piše, komu bi plačevali. Sem Samuel Seidel, ustanovitelj, podjetje pa je PRINT IT! SE s sedežem v Pragi. Od septembra 2026 je 94 razvijalcev zagnalo 374 instanc (stanje 9. novembra 2026). Stanje storitve je javno na status.gpuwerk.com. Vprašanja pred začetkom? Pišite prek kontaktne strani; odgovarjam sam.
Pogosta vprašanja
Ali lahko s prednastavitvijo Qwen3 Coder 30B uporabljam pi ali OpenCode?
Ne v trenutni obliki. Oba pošiljata klice orodij OpenAI, prednastavitev pa zažene vLLM brez --enable-auto-tool-choice, zato vLLM te zahteve zavrne. Namesto tega namestite odtis DGX OS in model strežite z llama.cpp in --jinja, kot v nastavitvi 2 na tej strani. aider in klepetalni način Continue delujeta z nespremenjeno prednastavitvijo.
Kako hiter je Qwen3 Coder 30B na DGX Sparku?
Na enem od mojih Sparkov je ustvaril 80,9 tokena na sekundo pri eni zahtevi in 35,2 na zahtevo pri 8 hkratnih zahtevah (vLLM 0.27.1, AWQ 4-bit, 2. september 2026). Surovi dnevnik je povezan na tej strani. Vzdrževalci llama.cpp poročajo o 61,1 tok/s pri Q8_0.
Koliko stane agent za programiranje na Sparku?
0,79 USD na uro, obračun po minutah iz predplačniškega dobroimetja, ne glede na to, kaj pošlje agent: 6,32 USD za osemurni dan. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ustavljena instanca se obračunava po 75 % urne cene; odstranitev konča obračun in izbriše delovni prostor. Cene ne vključujejo DDV, kjer se ta obračuna.
Ali gre moja koda k ponudniku modela?
Noben API modela tretje osebe ni vključen: model teče na Sparku, ki ga najamete in ga nihče drug ne uporablja, dokler je vaš. Zahteve na končno točko HTTPS prednastavitve gredo prek prehoda GPUwerk in, odvisno od instance, prek Cloudflare. Tunel SSH do strežnika, ki ga zaženete sami, se izogne obema. Na partnerskem Sparku ima partner fizični dostop do naprave.