Privaatne koodiagent sinu enda DGX Sparkil
Rendi terve NVIDIA DGX Spark, käivita Qwen3 Coder 30B tõmmis ja suuna oma koodiagent selle serveeritavale OpenAI-ga ühilduvale lõpp-punktile. Keegi teine ei kasuta masinat, kuni see on sinu käes, ja tund maksab 0,79 $ olenemata sellest, mitu tokenit sinu agent saadab. Ühel minu Sparkil genereeris see mudel ühe päringu puhul 80,9 tokenit sekundis (vLLM, 2. september 2026, toorlogi).
Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Arveldatakse minutipõhiselt ettemakstud krediidist. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb. Vali konsoolis DGX Spark 1× ja seejärel Qwen3 Coder 30B tõmmis.
Mis masinas on
| Riistvara | Üks NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB ühismälu kiirusega 273 GB/s, 1 TB NVMe. Terve masin on töötamise ajal sinu oma. |
|---|---|
| Mudel | Qwen3-Coder-30B-A3B-Instruct AWQ 4-bitisena, ekspertide segu mudel, mis loeb tokeni kohta umbes 3B oma 30B parameetrist. Kaalud on juba masinas. |
| Server | vLLM, serveerib mudelit nimega qwen3-coder-30b 32 768-tokenilise kontekstiga päringu kohta |
| Lõpp-punkt | https://app-<instance-id>.gpuwerk.com/v1, OpenAI-ga ühilduv, kaitstud inferentsiõigusega API-võtmega, mille lood konsoolis |
| Shell | Root-terminal brauseris, SSH-võtit pole vaja, või root SSH kaudu sinu enda võtmega. Failid kataloogis /workspace säilivad taaskäivituste korral. |
| Kus | See tõmmis töötab minu enda Sparkidel Hradec Královés Tšehhi Vabariigis. Partnerite Sparkid pakuvad DGX OS-i ja Ubuntu tõmmiseid, kus käivitad mudeli ise (vt allpool teist seadistust). |
Kui kiire see on, mõõdetuna
Käitasin vllm bench serve selle mudeli vastu ühel oma Sparkil, mille GPU-l polnud midagi muud, 2. septembril 2026 (vLLM 0.27.1, AWQ 4-bitine). Täielik meetod ja 70B võrdluskäitus on võrdlustestide lehel.
| Päringuid korraga | Genereeritud päringu kohta | Kuidas see tundub |
|---|---|---|
| 1 | 80,9 tok/s | Üks arendaja: vastused voolavad kiiremini, kui neid loed |
| 8 | 35,2 tok/s | Väike meeskond, kes jagab ühte lõpp-punkti |
| 32 | 18,4 tok/s | Palju paralleelseid agendikäitusi; igaüks neist aeglustub |
Ka päringu lugemine on kiire: 8192-tokeniline päring sisenes kiirusega 5705 tok/s, umbes 1,4 sekundit enne esimest tokenit. Need on võrdluskäitused, mitte lubadus sinu päringute kohta. Täna juurutatav eelseadistus võib käitada uuemat vLLM-i versiooni ja pikad agendipäringud võtavad kauem kui lühikesed testipäringud.
Millised agendid töötavad eelseadistusega muutmata kujul
Koodiagendid suhtlevad mudeliga ühel kahest viisist ja see määrab, millist seadistust vajad. Eelseadistus käivitab vLLM-i ainult kontekstipiirangu ja mälupiiranguga (--max-model-len 32768 --gpu-memory-utilization 0.5). See ei anna kaasa lippu --enable-auto-tool-choice ja vLLM keeldub päringutest, mis küsivad automaatseid tööriistakutseid, kui serverit ei käivitatud selle lipu ja tööriistakutsete parseriga.
- aider küsib muudatusi tekstina ega vaja tööriistakutseid, seega töötab see eelseadistusega muutmata kujul. Nii töötab ka Continue'i vestlus- ja muutmisrežiim.
- pi ja OpenCode põhinevad tööriistakutsetel, nagu ka Continue'i agendirežiim. Nende jaoks serveeri mudelit ise, tööriistakutsed sisse lülitatud. See võtab umbes 15 minutit ja töötab igal Sparkil, sealhulgas partnerite masinatel.
Seadistus 1: eelseadistus koos aideriga
- Lisa konsoolis krediiti, vali DGX Spark 1× ja Qwen3 Coder 30B tõmmis ning juuruta. Arveldus algab, kui eksemplar läbib valmisolekukontrolli ja näitab olekut töötab.
- Loo konsoolis inferentsiõigusega API-võti ja kopeeri eksemplari lehelt HTTPS-lõpp-punkt.
- Kontrolli sülearvutis, et lõpp-punkt vastab. Vastuses on kirjas
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Seejärel käivita aider oma repositooriumis. Eesliide openai/ ütleb aiderile, millist API-vormingut kasutada; ühtegi OpenAI teenust pole kaasatud.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Continue'i ja Cline'i seaded sama lõpp-punkti jaoks on lehel koodiagendid sinu enda lõpp-punktiga.
Seadistus 2: pi või OpenCode tööriistakutsetega
Juuruta hoopis DGX OS-i tõmmis. Ehita llama.cpp GB10 jaoks ja käivita Qwen3 Coder lipuga --jinja, mis rakendab mudeli enda vestlusmalli ja tagastab selle tööriistakutsed OpenAI vormingus. Need on ehitussammud minu llama.cpp juhendist, käivitatuna brauseriterminalis:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Server kuulab ainult aadressil 127.0.0.1, seega jõua selleni sülearvutist SSH-tunneli kaudu. Selleks on vaja eksemplaril oma SSH-võtit (kaks minutit). llama.cpp hooldajad teatavad selle mudeli kiiruseks Q8_0 juures DGX Sparkil 61,1 tok/s (DGX Sparki tulemused, build 7941); ma pole seda teed ise mõõtnud.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) loeb pakkujad sinu projekti failist opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) loeb faili ~/.pi/agent/models.json. Hoia contextWindow serveri -c väärtusega võrdne või sellest väiksem, muidu täidab pi konteksti üle ja server lükkab päringu tagasi.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Seejärel pi --model qwen3-coder oma repositooriumis. Server jätkab töötamist, kui agent väljub; lõpeta eksemplar konsoolis, kui päev on läbi.
Mida tund ostab, API-arve kõrval
Spark maksab 0,79 $ tunnis, arveldatakse minutipõhiselt: 6,32 $ kaheksatunnise päeva ja 132,72 21 $ sellise päeva eest. Mida selle eest saad, sõltub sellest, kui hõivatud sa seda hoiad. Minu arvutuste järgi ülaltoodud mõõdetud kiirustest lähtudes:
- Üks arendaja, üks päring korraga: 80,9 tok/s on maksimaalselt umbes 291 000 genereeritud tokenit tunnis ehk 2,71 $ miljoni kohta, kui mudel kunagi ei peatu. Päris seansid peatuvad, kui loed ja testid töötavad, seega maksab see tokeni kohta rohkem.
- Meeskond, kes jagab lõpp-punkti: 8 samaaegse päringu juures on 8 × 35,2 tok/s umbes 1 miljon genereeritud tokenit tunnis, umbes 0,78 $ miljoni kohta.
- Päringu tokenid ei maksa midagi lisaks. Agent saadab sinu failid ja kogu vestluse igal käigul uuesti, seega on tokenipõhise API puhul suurem osa arvest sisend. Siin on kuluks aeg: eeltäitmine kiirusega 5705 tok/s.
Pane need oma API-arve kõrvale. Ühele arendajale, kelle programmeerimistellimus ei jõua kunagi piirideni, on tellimus tõenäoliselt odavam. Spark tasub end ära, kui mitu inimest jagavad ühte lõpp-punkti, kui päringupiirangud peatavad pikad agendikäitused või kui sinu kood ei tohiks minna mudelipakkujale.
Piirangud, mida enne teada
- See on keskmise suurusega avatud mudel. Qwen3 Coder 30B on siin kiire, sest loeb umbes 3B parameetrit tokeni kohta. See ei ole tipptasemel mudel ja ma pole sellel programmeerimise võrdlustesti käitanud. Proovi seda oma ülesannetel enne, kui töö sellele üle viid.
- Eelseadistuses 32 768 tokenit päringu kohta. Agent, mis loeb palju faile, jõuab selle piirini. Seadistus 2 laseb konteksti pikkuse ise valida.
- Eelseadistus töötab ainult minu enda Sparkidel. Kui need kõik on renditud, näitab konsool seda. Partnerite Sparkid käitavad seadistust 2.
- Eelseadistuse lõpp-punkt läbib minu lüüsi. See on avalik HTTPS, kaitstud sinu API-võtmega, ja olenevalt eksemplarist lõpeb TLS Cloudflare'is ja minu lüüsis enne, kui päring Sparkini jõuab (API näitab, kumb, väljal
https_termination). Koodi jaoks, mis ei tohiks kumbagi läbida, kasuta seadistuse 2 SSH-tunnelit. - Spark on ARM64. Sinu agent töötab sinu sülearvutis, seega on see siin harva oluline, kuid kõik, mida paigaldad Sparkile endale, vajab aarch64 versiooni.
- SLA-d ega varukoopiaid pole. Hoia oma kood enda poolel git-is; lõpetamine kustutab tööruumi.
Kus Sparkid asuvad
Minu enda Sparkid asuvad andmekeskuses Hradec Královés Tšehhi Vabariigis. Partnerite Sparkid kuuluvad partneritele ja neid majutatakse nende ruumides USA-s, Rootsis, Hollandis, Slovakkias ja Hongkongis. Konsool näitab enne juurutamist riiki ja seda, kas see on EMP-s. Partneril on oma masinale füüsiline juurdepääs ja EMP-st väljaspool asuv masin tähendab, et sinu andmed lahkuvad EL-ist/EMP-st, seega vali oma koodile sobiv asukoht.
Hind
0,79 $ tunnis ühe Sparki eest, arveldatakse minutipõhiselt ettemakstud krediidist. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Peatatud eksemplar säilitab oma tööruumi ja selle eest arveldatakse 75% tunnihinnast. Kui töö on tehtud, lõpeta see ja arveldus lõpeb; see kustutab tööruumi. Hinnad ei sisalda käibemaksu, kui see kohaldub. Üksikasjad on hinnalehel.
Kes seda juhib
GPUwerk on uus, seega siin on, kellele sa maksaksid. Mina olen Samuel Seidel, asutaja, ja ettevõte on PRINT IT! SE, registreeritud Prahas. Alates septembrist 2026 on 94 arendajat käivitanud 374 eksemplari (seisuga 9. novembril 2026). Teenuse olek on avalik aadressil status.gpuwerk.com. Küsimusi enne alustamist? Kirjuta kontaktilehe kaudu; vastan ise.
KKK
Kas saan kasutada pi-d või OpenCode'i Qwen3 Coder 30B eelseadistusega?
Mitte muutmata kujul. Mõlemad saadavad OpenAI tööriistakutseid ja eelseadistus käivitab vLLM-i ilma liputa --enable-auto-tool-choice, seega keeldub vLLM nendest päringutest. Juuruta hoopis DGX OS-i tõmmis ja serveeri mudelit llama.cpp ja lipuga --jinja, nagu selle lehe seadistuses 2. aider ja Continue'i vestlusrežiim töötavad eelseadistusega muutmata kujul.
Kui kiire on Qwen3 Coder 30B DGX Sparkil?
Ühel minu Sparkil genereeris see ühe päringu puhul 80,9 tokenit sekundis ja 8 samaaegse päringu puhul 35,2 päringu kohta (vLLM 0.27.1, AWQ 4-bitine, 2. september 2026). Toorlogi on sellel lehel lingitud. llama.cpp hooldajad teatavad Q8_0 juures 61,1 tok/s.
Mida maksab koodiagent Sparkil?
0,79 $ tunnis, arveldatakse minutipõhiselt ettemakstud krediidist, ükskõik mida agent saadab: kaheksatunnine päev maksab 6,32 $. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Peatatud eksemplari eest arveldatakse 75% tunnihinnast; lõpetamine lõpetab arvelduse ja kustutab tööruumi. Hinnad ei sisalda käibemaksu, kui see kohaldub.
Kas minu kood läheb mudelipakkujale?
Kolmanda osapoole mudeli-API-d pole kaasatud: mudel töötab sinu renditud Sparkil, mida keegi teine sinu rendi ajal ei kasuta. Päringud eelseadistuse HTTPS-lõpp-punktile läbivad GPUwerki lüüsi ja olenevalt eksemplarist Cloudflare'i. SSH-tunnel serverisse, mille ise käivitad, väldib mõlemat. Partneri Sparkil on partneril masinale füüsiline juurdepääs.