Privāts programmēšanas aģents jūsu pašu DGX Spark
Nomājiet veselu NVIDIA DGX Spark, palaidiet Qwen3 Coder 30B attēlu un norādiet savam programmēšanas aģentam uz OpenAI saderīgo galapunktu, ko tas apkalpo. Kamēr iekārta ir jums, neviens cits to neizmanto, un stunda maksā 0,79 $ neatkarīgi no tā, cik tokenu jūsu aģents sūta. Vienā no maniem Spark šis modelis ģenerēja 80,9 tokenus sekundē vienam pieprasījumam (vLLM, 2026. gada 2. septembris, neapstrādāts žurnāls).
Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Maksa par katru minūti no priekšapmaksas kredīta. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas. Konsolē izvēlieties DGX Spark 1× un pēc tam Qwen3 Coder 30B attēlu.
Kas ir iekārtā
| Aparatūra | Viens NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB vienotā atmiņa ar 273 GB/s, 1 TB NVMe. Kamēr tas darbojas, visa iekārta ir jūsu. |
|---|---|
| Modelis | Qwen3-Coder-30B-A3B-Instruct formātā AWQ 4 bitu, ekspertu maisījuma modelis, kas katram tokenam nolasa aptuveni 3B no saviem 30B parametriem. Svari jau ir iekārtā. |
| Serveris | vLLM, kas apkalpo modeli kā qwen3-coder-30b ar 32 768 tokenu kontekstu vienā pieprasījumā |
| Galapunkts | https://app-<instance-id>.gpuwerk.com/v1, OpenAI saderīgs, aizsargāts ar API atslēgu ar inferences tvērumu, ko izveidojat konsolē |
| Čaula | Root terminālis pārlūkā bez SSH atslēgas vai root caur SSH ar jūsu pašu atslēgu. Faili mapē /workspace saglabājas pēc restartēšanas. |
| Kur | Šis attēls darbojas manos Spark Hradecā Krālovē, Čehijā. Partneru Spark piedāvā DGX OS un Ubuntu attēlus, kuros modeli palaižat paši (skatiet otro iestatījumu zemāk). |
Cik tas ir ātrs, izmērīts
Es palaidu vllm bench serve ar šo modeli vienā no saviem Spark, kura GPU nekas cits nedarbojās, 2026. gada 2. septembrī (vLLM 0.27.1, AWQ 4 bitu). Pilna metode un 70B salīdzinājuma mērījums ir etalontestu lapā.
| Vienlaicīgi pieprasījumi | Ģenerēts vienā pieprasījumā | Kāda ir sajūta |
|---|---|---|
| 1 | 80,9 tok/s | Viens izstrādātājs: atbildes plūst ātrāk, nekā tās lasāt |
| 8 | 35,2 tok/s | Neliela komanda, kas koplieto vienu galapunktu |
| 32 | 18,4 tok/s | Daudzas paralēlas aģentu izpildes; katra kļūst lēnāka |
Arī prompta nolasīšana ir ātra: 8192 tokenu prompts tika apstrādāts ar 5705 tok/s, aptuveni 1,4 sekundes pirms pirmā tokena. Tie ir atsauces mērījumi, nevis solījums jūsu promptiem. Šodien izvietotais sagatave var darbināt jaunāku vLLM versiju, un gari aģentu prompti aizņem vairāk laika nekā īsi etalontestu prompti.
Kuri aģenti darbojas ar nemainītu sagatavi
Programmēšanas aģenti sazinās ar modeli vienā no diviem veidiem, un tas nosaka, kāda konfigurācija jums vajadzīga. Sagatave palaiž vLLM tikai ar konteksta ierobežojumu un atmiņas ierobežojumu (--max-model-len 32768 --gpu-memory-utilization 0.5). Tas nenodod --enable-auto-tool-choice, un vLLM noraida pieprasījumus, kas prasa automātiskus rīku izsaukumus, ja vien serveris nav palaists ar šo karodziņu un rīku izsaukumu parsētāju.
- aider pieprasa labojumus kā tekstu, un tam nav vajadzīgi rīku izsaukumi, tāpēc tas darbojas ar nemainītu sagatavi. Tāpat arī Continue tērzēšanas un labošanas režīms.
- pi un OpenCode ir balstīti uz rīku izsaukumiem, tāpat kā Continue aģenta režīms. Tiem apkalpojiet modeli paši ar ieslēgtiem rīku izsaukumiem. Tas aizņem aptuveni 15 minūtes un darbojas jebkurā Spark, ieskaitot partneru iekārtas.
1. konfigurācija: sagatave ar aider
- Konsolē pievienojiet kredītu, izvēlieties DGX Spark 1× un Qwen3 Coder 30B attēlu un izvietojiet. Maksas aprēķins sākas, kad instance iztur gatavības pārbaudi un rāda running.
- Konsolē izveidojiet API atslēgu ar inferences tvērumu un nokopējiet HTTPS galapunktu no instances lapas.
- Savā klēpjdatorā pārbaudiet, vai galapunkts atbild. Atbildē ir norādīts
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Tad palaidiet aider savā repozitorijā. Prefikss openai/ norāda aider, kādā API formātā sazināties; neviens OpenAI pakalpojums netiek iesaistīts.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Continue un Cline iestatījumi tam pašam galapunktam ir lapā programmēšanas aģenti ar jūsu pašu galapunktu.
2. konfigurācija: pi vai OpenCode ar rīku izsaukumiem
Tā vietā izvietojiet DGX OS attēlu. Kompilējiet llama.cpp GB10 arhitektūrai un palaidiet Qwen3 Coder ar --jinja, kas piemēro modeļa paša tērzēšanas veidni un atgriež tā rīku izsaukumus OpenAI formātā. Šie ir kompilēšanas soļi no mana llama.cpp ceļveža, izpildīti pārlūka terminālī:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Serveris klausās tikai 127.0.0.1, tāpēc piekļūstiet tam caur SSH tuneli no klēpjdatora. Tam instancē vajag jūsu SSH atslēgu (divas minūtes). llama.cpp uzturētāji ziņo par 61,1 tok/s šim modelim ar Q8_0 uz DGX Spark (DGX Spark rezultāti, build 7941); es šo ceļu neesmu mērījis.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) nolasa pakalpojumu sniedzējus no opencode.json jūsu projektā:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) nolasa ~/.pi/agent/models.json. Uzturiet contextWindow ne lielāku par servera -c, citādi pi pārpilda kontekstu un serveris pieprasījumu noraida.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Tad savā repozitorijā palaidiet pi --model qwen3-coder. Serveris turpina darboties, kad aģents beidz darbu; dienas beigās izbeidziet instanci konsolē.
Ko dod stunda salīdzinājumā ar API rēķinu
Spark maksā 0,79 $ stundā, maksa par katru minūti: 6,32 $ par astoņu stundu darba dienu, 132,72 $ par 21 šādu dienu. Ko par to saņemat, ir atkarīgs no tā, cik noslogotu to turat. Pēc maniem aprēķiniem, balstoties uz iepriekš izmērītajiem ātrumiem:
- Viens izstrādātājs, viens pieprasījums vienlaikus: 80,9 tok/s ir ne vairāk kā aptuveni 291 000 ģenerētu tokenu stundā jeb 2,71 $ par miljonu, ja modelis nekad neapstājas. Reālās sesijās ir pauzes, kamēr lasāt un darbojas testi, tāpēc uz tokenu tas izmaksā vairāk.
- Komanda, kas koplieto galapunktu: ar 8 vienlaicīgiem pieprasījumiem 8 × 35,2 tok/s ir aptuveni 1 miljons ģenerētu tokenu stundā, aptuveni 0,78 $ par miljonu.
- Prompta tokeni nemaksā neko papildus. Aģents katrā gājienā atkārtoti sūta jūsu failus un visu sarunu, tāpēc API ar maksu par tokenu lielākā rēķina daļa ir ievade. Šeit izmaksas ir laiks: sākotnējā apstrāde ar 5705 tok/s.
Salīdziniet tos ar savu API rēķinu. Vienam izstrādātājam, kura programmēšanas abonements nekad nesasniedz ierobežojumus, abonements, visticamāk, ir lētāks. Spark atmaksājas, ja vairāki cilvēki koplieto vienu galapunktu, ja pieprasījumu ierobežojumi aptur garas aģentu izpildes vai ja jūsu kodam nevajadzētu nonākt pie modeļa pakalpojumu sniedzēja.
Ierobežojumi, kas jāzina vispirms
- Tas ir vidēja izmēra atvērtais modelis. Qwen3 Coder 30B šeit ir ātrs, jo katram tokenam nolasa aptuveni 3B parametrus. Tas nav vadošais modelis, un es neesmu ar to palaidis programmēšanas etalontestu. Izmēģiniet to ar saviem uzdevumiem, pirms pārceļat uz to darbu.
- 32 768 tokeni vienā pieprasījumā ar sagatavi. Aģents, kas lasa daudz failu, to sasniedz. 2. konfigurācija ļauj izvēlēties konteksta garumu.
- Sagatave darbojas tikai manos Spark. Kad tie visi ir iznomāti, konsole to parāda. Partneru Spark darbina 2. konfigurāciju.
- Sagataves galapunkts iet caur manu vārteju. Tas ir publisks HTTPS, aizsargāts ar jūsu API atslēgu, un atkarībā no instances TLS tiek pārtraukts Cloudflare un manā vārtejā, pirms pieprasījums sasniedz Spark (API to norāda kā
https_termination). Kodam, kam nevajadzētu iet caur nevienu no tiem, izmantojiet 2. konfigurācijas SSH tuneli. - Spark ir ARM64. Jūsu aģents darbojas jūsu klēpjdatorā, tāpēc šeit tas reti ir svarīgi, bet visam, ko instalējat pašā Spark, vajag aarch64 versiju.
- Nav SLA un nav dublējumu. Glabājiet savu kodu git savā pusē; izbeigšana dzēš darbvietu.
Kur atrodas Spark iekārtas
Mani Spark atrodas datu centrā Hradecā Krālovē, Čehijā. Partneru Spark pieder partneriem, un tie tos mitina savās telpās ASV, Zviedrijā, Nīderlandē, Slovākijā un Honkongā. Konsole pirms izvietošanas parāda valsti un to, vai tā ir EEZ. Partnerim ir fiziska piekļuve savai iekārtai, un iekārta ārpus EEZ nozīmē, ka jūsu dati atstāj ES/EEZ, tāpēc izvēlieties atrašanās vietu, kas piemērota jūsu kodam.
Cena
0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Apturēta instance saglabā savu darbvietu, un par to tiek iekasēti 75% no stundas likmes. Izbeidziet to, kad esat pabeiguši, un maksas aprēķins beidzas; tas dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams. Sīkāka informācija ir cenu lapā.
Kas to vada
GPUwerk ir jauns, tāpēc lūk, kam jūs maksātu. Es esmu Samuel Seidel, dibinātājs, un uzņēmums ir PRINT IT! SE, reģistrēts Prāgā. Kopš 2026. gada septembra 94 izstrādātāji ir palaiduši 374 instances (dati uz 2026. gada 9. novembri). Pakalpojuma statuss ir publiski redzams status.gpuwerk.com. Jautājumi pirms sākšanas? Rakstiet caur kontaktu lapu; atbildu pats.
BUJ
Vai ar Qwen3 Coder 30B sagatavi varu izmantot pi vai OpenCode?
Ne bez izmaiņām. Abi sūta OpenAI rīku izsaukumus, un sagatave palaiž vLLM bez --enable-auto-tool-choice, tāpēc vLLM šos pieprasījumus noraida. Tā vietā izvietojiet DGX OS attēlu un apkalpojiet modeli ar llama.cpp un --jinja, kā aprakstīts šīs lapas 2. konfigurācijā. aider un Continue tērzēšanas režīms darbojas ar nemainītu sagatavi.
Cik ātrs ir Qwen3 Coder 30B uz DGX Spark?
Vienā no maniem Spark tas ģenerēja 80,9 tokenus sekundē vienam pieprasījumam un 35,2 uz pieprasījumu ar 8 pieprasījumiem vienlaikus (vLLM 0.27.1, AWQ 4 bitu, 2026. gada 2. septembris). Neapstrādātais žurnāls ir saistīts šajā lapā. llama.cpp uzturētāji ziņo par 61,1 tok/s ar Q8_0.
Cik maksā programmēšanas aģents uz Spark?
0,79 $ stundā, maksa par katru minūti no priekšapmaksas kredīta neatkarīgi no tā, ko aģents sūta: 6,32 $ par astoņu stundu darba dienu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Par apturētu instanci tiek iekasēti 75% no stundas likmes; izbeigšana beidz maksas aprēķinu un dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams.
Vai mans kods nonāk pie modeļa pakalpojumu sniedzēja?
Netiek iesaistīts trešās puses modeļa API: modelis darbojas jūsu nomātajā Spark, ko neviens cits neizmanto, kamēr tas ir jums. Pieprasījumi uz sagataves HTTPS galapunktu iet caur GPUwerk vārteju un atkarībā no instances caur Cloudflare. SSH tunelis uz serveri, ko palaižat paši, apiet abus. Partnera Spark gadījumā partnerim ir fiziska piekļuve iekārtai.