Privatus programavimo agentas jūsų pačių DGX Spark
Išsinuomokite visą NVIDIA DGX Spark, paleiskite Qwen3 Coder 30B atvaizdą ir nukreipkite savo programavimo agentą į jo pateikiamą su OpenAI suderinamą galinį tašką. Kol įrenginys jūsų, niekas kitas jo nenaudoja, o valanda kainuoja 0,79 USD, kad ir kiek tokenų siųstų jūsų agentas. Viename iš mano Spark šis modelis generavo 80,9 tokeno per sekundę vienai užklausai (vLLM, 2026 m. rugsėjo 2 d., neapdorotas žurnalas).
Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Apmokestinama už minutę iš išankstinio kredito. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas. Konsolėje pasirinkite DGX Spark 1×, tada Qwen3 Coder 30B atvaizdą.
Kas yra įrenginyje
| Įranga | Vienas NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB bendros atminties, 273 GB/s, 1 TB NVMe. Kol jis veikia, visas įrenginys priklauso jums. |
|---|---|
| Modelis | Qwen3-Coder-30B-A3B-Instruct AWQ 4 bitų formatu – ekspertų mišinio modelis, kuris kiekvienam tokenui nuskaito apie 3B iš savo 30B parametrų. Svoriai jau yra įrenginyje. |
| Serveris | vLLM, aptarnaujantis modelį kaip qwen3-coder-30b su 32 768 tokenų kontekstu vienai užklausai |
| Galinis taškas | https://app-<instance-id>.gpuwerk.com/v1, suderinama su OpenAI, apsaugota API raktu su inferencijos apimtimi, kurį sukuriate konsolėje |
| Apvalkalas | Root terminalas naršyklėje, nereikia SSH rakto, arba root per SSH su jūsų raktu. Failai /workspace išlieka po paleidimų iš naujo. |
| Kur | Šis atvaizdas veikia mano nuosavuose Spark Hradec Králové, Čekijoje. Partnerių Spark siūlo DGX OS ir Ubuntu atvaizdus, kuriuose modelį paleidžiate patys (žr. antrąją sąranką toliau). |
Koks jis greitas – išmatuota
2026 m. rugsėjo 2 d. paleidau vllm bench serve su šiuo modeliu viename iš savo Spark, kurio GPU nieko kito neveikė (vLLM 0.27.1, AWQ 4 bitų). Visa metodika ir 70B palyginimo paleidimas pateikti lyginamųjų testų puslapyje.
| Užklausos vienu metu | Sugeneruota vienai užklausai | Kaip tai atrodo naudojant |
|---|---|---|
| 1 | 80,9 tok/s | Vienas kūrėjas: atsakymai srautu ateina greičiau, nei juos skaitote |
| 8 | 35,2 tok/s | Nedidelė komanda, besidalijanti vienu galiniu tašku |
| 32 | 18,4 tok/s | Daug lygiagrečių agentų paleidimų; kiekvienas sulėtėja |
Užklausa nuskaitoma taip pat greitai: 8 192 tokenų užklausa apdorota 5 705 tok/s greičiu, apie 1,4 sekundės iki pirmojo tokeno. Tai etaloniniai paleidimai, o ne pažadas jūsų užklausoms. Šiandien paleistas išankstinis nustatymas gali naudoti naujesnę vLLM versiją, o ilgos agentų užklausos užtrunka ilgiau nei trumpi lyginamųjų testų.
Kurie agentai veikia su nepakeistu išankstiniu nustatymu
Programavimo agentai su modeliu bendrauja vienu iš dviejų būdų, ir tai lemia, kokios sąrankos jums reikia. Išankstinis nustatymas paleidžia vLLM tik su konteksto ir atminties ribomis (--max-model-len 32768 --gpu-memory-utilization 0.5). Jis neperduoda --enable-auto-tool-choice, o vLLM atmeta užklausas, prašančias automatinių įrankių iškvietimų, nebent serveris buvo paleistas su tuo parametru ir įrankių iškvietimų analizatoriumi.
- aider prašo pakeitimų tekstu ir jam nereikia įrankių iškvietimų, todėl jis veikia su nepakeistu išankstiniu nustatymu. Taip pat ir Continue pokalbių bei redagavimo režimas.
- pi ir OpenCode paremti įrankių iškvietimais, kaip ir Continue agento režimas. Jiems modelį aptarnaukite patys su įjungtais įrankių iškvietimais. Tai užtrunka apie 15 minučių ir veikia bet kuriame Spark, įskaitant partnerių įrenginius.
1 sąranka: išankstinis nustatymas su aider
- Konsolėje pridėkite kredito, pasirinkite DGX Spark 1× ir Qwen3 Coder 30B atvaizdą, tada paleiskite. Apmokestinimas prasideda, kai egzempliorius praeina parengties patikrą ir rodo running.
- Konsolėje sukurkite API raktą su inferencijos apimtimi ir nukopijuokite HTTPS galinį tašką iš egzemplioriaus puslapio.
- Savo nešiojamajame kompiuteryje patikrinkite, ar galinis taškas atsako. Atsakyme nurodomas
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Tada savo saugykloje paleiskite aider. Prefiksas openai/ nurodo aider, kokiu API formatu kalbėti; jokia OpenAI paslauga nenaudojama.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Continue ir Cline nustatymai tam pačiam galiniam taškui pateikti puslapyje programavimo agentai su jūsų galiniu tašku.
2 sąranka: pi ar OpenCode su įrankių iškvietimais
Vietoj to paleiskite DGX OS atvaizdą. Sukompiliuokite llama.cpp GB10 ir paleiskite Qwen3 Coder su --jinja – tai pritaiko paties modelio pokalbio šabloną ir grąžina jo įrankių iškvietimus OpenAI formatu. Tai kompiliavimo žingsniai iš mano llama.cpp vadovo, vykdomi naršyklės terminale:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Serveris klauso tik 127.0.0.1, todėl jį pasiekite per SSH tunelį iš savo nešiojamojo kompiuterio. Tam egzemplioriuje reikia jūsų SSH rakto (dvi minutės). llama.cpp prižiūrėtojai šiam modeliui su Q8_0 DGX Spark įrenginyje praneša 61,1 tok/s (DGX Spark rezultatai, versija 7941); šio kelio pats nesu išmatavęs.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) tiekėjus nuskaito iš jūsų projekto opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) nuskaito ~/.pi/agent/models.json. Laikykite contextWindow ne didesnį nei serverio -c, kitaip pi perpildo kontekstą ir serveris atmeta užklausą.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Tada savo saugykloje pi --model qwen3-coder. Serveris toliau veikia, kai agentas išjungiamas; dienos pabaigoje nutraukite egzempliorių konsolėje.
Ką nuperka valanda palyginti su API sąskaita
Spark kainuoja 0,79 USD per valandą, apmokestinama už minutę: 6,32 USD už aštuonių valandų darbo dieną, 132,72 USD už 21 tokią dieną. Ką už tai gaunate, priklauso nuo to, kiek jį apkraunate. Pagal mano skaičiavimus iš aukščiau išmatuotų greičių:
- Vienas kūrėjas, viena užklausa vienu metu: 80,9 tok/s – tai daugiausia apie 291 000 sugeneruotų tokenų per valandą arba 2,71 USD už milijoną, jei modelis niekada nesustoja. Tikros sesijos stoja, kol skaitote ir vyksta testai, todėl vienas tokenas kainuoja daugiau.
- Komanda, besidalijanti galiniu tašku: esant 8 vienu metu vykdomoms užklausoms, 8 × 35,2 tok/s yra apie 1 milijoną sugeneruotų tokenų per valandą, apie 0,78 USD už milijoną.
- Užklausos tokenai papildomai nekainuoja. Agentas kiekvieno ėjimo metu iš naujo siunčia jūsų failus ir visą pokalbį, todėl mokamoje už tokeną API didžiąją sąskaitos dalį sudaro įvestis. Čia kaina – laikas: užpildymas 5 705 tok/s greičiu.
Palyginkite tai su savo API sąskaita. Vienam kūrėjui, kurio programavimo prenumerata niekada nepasiekia ribų, prenumerata tikriausiai pigesnė. Spark atsiperka, kai keli žmonės dalijasi vienu galiniu tašku, kai užklausų ribos sustabdo ilgus agentų paleidimus arba kai jūsų kodas neturėtų patekti pas modelio tiekėją.
Apribojimai, kuriuos verta žinoti iš anksto
- Tai vidutinio dydžio atvirasis modelis. Qwen3 Coder 30B čia greitas, nes kiekvienam tokenui nuskaito apie 3B parametrų. Tai nėra pažangiausias modelis, ir programavimo lyginamojo testo su juo neatlikau. Prieš perkeldami darbą, išbandykite jį su savo užduotimis.
- 32 768 tokenai vienai užklausai naudojant išankstinį nustatymą. Agentas, skaitantis daug failų, šią ribą pasiekia. 2 sąranka leidžia pasirinkti konteksto ilgį.
- Išankstinis nustatymas veikia tik mano nuosavuose Spark. Kai jie visi išnuomoti, konsolė tai parodo. Partnerių Spark veikia 2 sąranka.
- Išankstinio nustatymo galinis taškas eina per mano šliuzą. Tai viešas HTTPS, apsaugotas jūsų API raktu, ir, priklausomai nuo egzemplioriaus, TLS baigiasi Cloudflare ir mano šliuze, prieš užklausai pasiekiant Spark (API tai nurodo kaip
https_termination). Kodui, kuris neturėtų eiti per nė vieną iš jų, naudokite 2 sąrankos SSH tunelį. - Spark yra ARM64. Jūsų agentas veikia jūsų nešiojamajame kompiuteryje, todėl čia tai retai svarbu, bet viskam, ką diegiate pačiame Spark, reikia aarch64 versijos.
- Jokio SLA ir jokių atsarginių kopijų. Laikykite savo kodą git savo pusėje; nutraukus egzempliorių darbo sritis ištrinama.
Kur yra Spark
Mano nuosavi Spark yra duomenų centre Hradec Králové, Čekijoje. Partnerių Spark priklauso partneriams ir yra talpinami jų patalpose JAV, Švedijoje, Nyderlanduose, Slovakijoje ir Honkonge. Prieš paleidžiant konsolė rodo šalį ir ar ji yra EEE. Partneris turi fizinę prieigą prie savo įrenginio, o įrenginys už EEE ribų reiškia, kad jūsų duomenys palieka ES/EEE, todėl pasirinkite jūsų kodui tinkamą vietą.
Kaina
0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius išlaiko darbo sritį ir apmokestinamas 75% valandinio tarifo. Baigę darbą jį nutraukite, ir mokestis nebeskaičiuojamas; kartu ištrinama darbo sritis. Kainos nurodytos be PVM, kai jis taikomas. Išsamiau – kainų puslapyje.
Kas tai valdo
GPUwerk yra nauja, todėl štai kam mokėtumėte. Aš esu Samuel Seidel, įkūrėjas, o įmonė – PRINT IT! SE, registruota Prahoje. Nuo 2026 m. rugsėjo 94 kūrėjai paleido 374 egzempliorius (2026 m. lapkričio 9 d. duomenimis). Paslaugos būsena viešai skelbiama status.gpuwerk.com. Turite klausimų prieš pradėdami? Rašykite per kontaktų puslapį; atsakau pats.
DUK
Ar galiu naudoti pi ar OpenCode su Qwen3 Coder 30B išankstiniu nustatymu?
Ne tokiu pavidalu. Abu siunčia OpenAI įrankių iškvietimus, o išankstinis nustatymas paleidžia vLLM be --enable-auto-tool-choice, todėl vLLM tas užklausas atmeta. Vietoj to paleiskite DGX OS atvaizdą ir aptarnaukite modelį su llama.cpp ir --jinja, kaip šio puslapio 2 sąrankoje. aider ir Continue pokalbių režimas veikia su nepakeistu išankstiniu nustatymu.
Koks Qwen3 Coder 30B greitis DGX Spark įrenginyje?
Viename iš mano Spark jis generavo 80,9 tokeno per sekundę vienai užklausai ir 35,2 vienai užklausai esant 8 užklausoms vienu metu (vLLM 0.27.1, AWQ 4 bitų, 2026 m. rugsėjo 2 d.). Neapdorotas žurnalas susietas šiame puslapyje. llama.cpp prižiūrėtojai praneša 61,1 tok/s su Q8_0.
Kiek kainuoja programavimo agentas Spark įrenginyje?
0,79 USD per valandą, apmokestinama už minutę iš išankstinio kredito, kad ir ką siųstų agentas: 6,32 USD už aštuonių valandų darbo dieną. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius apmokestinamas 75% valandinio tarifo; nutraukus egzempliorių mokestis nebeskaičiuojamas, o darbo sritis ištrinama. Kainos nurodytos be PVM, kai jis taikomas.
Ar mano kodas patenka pas modelio tiekėją?
Jokia trečiosios šalies modelio API nedalyvauja: modelis veikia jūsų nuomojamame Spark, kurio niekas kitas nenaudoja, kol jis jūsų. Užklausos į išankstinio nustatymo HTTPS galinį tašką eina per GPUwerk šliuzą ir, priklausomai nuo egzemplioriaus, Cloudflare. SSH tunelis į jūsų pačių paleistą serverį išvengia abiejų. Partnerio Spark atveju partneris turi fizinę prieigą prie įrenginio.