DGX Spark/Programmēšanas aģenti
Lietojuma gadījums · Programmēšanas aģenti

Privāts programmēšanas aģents jūsu pašu DGX Spark

Autors: Samuel Seidel · Atjaunināts 2026. gada 10. novembrī · 8 min lasīšanai

Nomājiet veselu NVIDIA DGX Spark, palaidiet Qwen3 Coder 30B attēlu un norādiet savam programmēšanas aģentam uz OpenAI saderīgo galapunktu, ko tas apkalpo. Kamēr iekārta ir jums, neviens cits to neizmanto, un stunda maksā 0,79 $ neatkarīgi no tā, cik tokenu jūsu aģents sūta. Vienā no maniem Spark šis modelis ģenerēja 80,9 tokenus sekundē vienam pieprasījumam (vLLM, 2026. gada 2. septembris, neapstrādāts žurnāls).

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Maksa par katru minūti no priekšapmaksas kredīta. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas. Konsolē izvēlieties DGX Spark 1× un pēc tam Qwen3 Coder 30B attēlu.

Kas ir iekārtā

AparatūraViens NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB vienotā atmiņa ar 273 GB/s, 1 TB NVMe. Kamēr tas darbojas, visa iekārta ir jūsu.
ModelisQwen3-Coder-30B-A3B-Instruct formātā AWQ 4 bitu, ekspertu maisījuma modelis, kas katram tokenam nolasa aptuveni 3B no saviem 30B parametriem. Svari jau ir iekārtā.
ServerisvLLM, kas apkalpo modeli kā qwen3-coder-30b ar 32 768 tokenu kontekstu vienā pieprasījumā
Galapunktshttps://app-<instance-id>.gpuwerk.com/v1, OpenAI saderīgs, aizsargāts ar API atslēgu ar inferences tvērumu, ko izveidojat konsolē
ČaulaRoot terminālis pārlūkā bez SSH atslēgas vai root caur SSH ar jūsu pašu atslēgu. Faili mapē /workspace saglabājas pēc restartēšanas.
KurŠis attēls darbojas manos Spark Hradecā Krālovē, Čehijā. Partneru Spark piedāvā DGX OS un Ubuntu attēlus, kuros modeli palaižat paši (skatiet otro iestatījumu zemāk).

Cik tas ir ātrs, izmērīts

Es palaidu vllm bench serve ar šo modeli vienā no saviem Spark, kura GPU nekas cits nedarbojās, 2026. gada 2. septembrī (vLLM 0.27.1, AWQ 4 bitu). Pilna metode un 70B salīdzinājuma mērījums ir etalontestu lapā.

Vienlaicīgi pieprasījumiĢenerēts vienā pieprasījumāKāda ir sajūta
180,9 tok/sViens izstrādātājs: atbildes plūst ātrāk, nekā tās lasāt
835,2 tok/sNeliela komanda, kas koplieto vienu galapunktu
3218,4 tok/sDaudzas paralēlas aģentu izpildes; katra kļūst lēnāka

Arī prompta nolasīšana ir ātra: 8192 tokenu prompts tika apstrādāts ar 5705 tok/s, aptuveni 1,4 sekundes pirms pirmā tokena. Tie ir atsauces mērījumi, nevis solījums jūsu promptiem. Šodien izvietotais sagatave var darbināt jaunāku vLLM versiju, un gari aģentu prompti aizņem vairāk laika nekā īsi etalontestu prompti.

Kuri aģenti darbojas ar nemainītu sagatavi

Programmēšanas aģenti sazinās ar modeli vienā no diviem veidiem, un tas nosaka, kāda konfigurācija jums vajadzīga. Sagatave palaiž vLLM tikai ar konteksta ierobežojumu un atmiņas ierobežojumu (--max-model-len 32768 --gpu-memory-utilization 0.5). Tas nenodod --enable-auto-tool-choice, un vLLM noraida pieprasījumus, kas prasa automātiskus rīku izsaukumus, ja vien serveris nav palaists ar šo karodziņu un rīku izsaukumu parsētāju.

1. konfigurācija: sagatave ar aider

  1. Konsolē pievienojiet kredītu, izvēlieties DGX Spark 1× un Qwen3 Coder 30B attēlu un izvietojiet. Maksas aprēķins sākas, kad instance iztur gatavības pārbaudi un rāda running.
  2. Konsolē izveidojiet API atslēgu ar inferences tvērumu un nokopējiet HTTPS galapunktu no instances lapas.
  3. Savā klēpjdatorā pārbaudiet, vai galapunkts atbild. Atbildē ir norādīts qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Tad palaidiet aider savā repozitorijā. Prefikss openai/ norāda aider, kādā API formātā sazināties; neviens OpenAI pakalpojums netiek iesaistīts.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Continue un Cline iestatījumi tam pašam galapunktam ir lapā programmēšanas aģenti ar jūsu pašu galapunktu.

2. konfigurācija: pi vai OpenCode ar rīku izsaukumiem

Tā vietā izvietojiet DGX OS attēlu. Kompilējiet llama.cpp GB10 arhitektūrai un palaidiet Qwen3 Coder ar --jinja, kas piemēro modeļa paša tērzēšanas veidni un atgriež tā rīku izsaukumus OpenAI formātā. Šie ir kompilēšanas soļi no mana llama.cpp ceļveža, izpildīti pārlūka terminālī:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Serveris klausās tikai 127.0.0.1, tāpēc piekļūstiet tam caur SSH tuneli no klēpjdatora. Tam instancē vajag jūsu SSH atslēgu (divas minūtes). llama.cpp uzturētāji ziņo par 61,1 tok/s šim modelim ar Q8_0 uz DGX Spark (DGX Spark rezultāti, build 7941); es šo ceļu neesmu mērījis.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) nolasa pakalpojumu sniedzējus no opencode.json jūsu projektā:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) nolasa ~/.pi/agent/models.json. Uzturiet contextWindow ne lielāku par servera -c, citādi pi pārpilda kontekstu un serveris pieprasījumu noraida.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Tad savā repozitorijā palaidiet pi --model qwen3-coder. Serveris turpina darboties, kad aģents beidz darbu; dienas beigās izbeidziet instanci konsolē.

Ko dod stunda salīdzinājumā ar API rēķinu

Spark maksā 0,79 $ stundā, maksa par katru minūti: 6,32 $ par astoņu stundu darba dienu, 132,72 $ par 21 šādu dienu. Ko par to saņemat, ir atkarīgs no tā, cik noslogotu to turat. Pēc maniem aprēķiniem, balstoties uz iepriekš izmērītajiem ātrumiem:

Salīdziniet tos ar savu API rēķinu. Vienam izstrādātājam, kura programmēšanas abonements nekad nesasniedz ierobežojumus, abonements, visticamāk, ir lētāks. Spark atmaksājas, ja vairāki cilvēki koplieto vienu galapunktu, ja pieprasījumu ierobežojumi aptur garas aģentu izpildes vai ja jūsu kodam nevajadzētu nonākt pie modeļa pakalpojumu sniedzēja.

Ierobežojumi, kas jāzina vispirms

Kur atrodas Spark iekārtas

Mani Spark atrodas datu centrā Hradecā Krālovē, Čehijā. Partneru Spark pieder partneriem, un tie tos mitina savās telpās ASV, Zviedrijā, Nīderlandē, Slovākijā un Honkongā. Konsole pirms izvietošanas parāda valsti un to, vai tā ir EEZ. Partnerim ir fiziska piekļuve savai iekārtai, un iekārta ārpus EEZ nozīmē, ka jūsu dati atstāj ES/EEZ, tāpēc izvēlieties atrašanās vietu, kas piemērota jūsu kodam.

Cena

0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Apturēta instance saglabā savu darbvietu, un par to tiek iekasēti 75% no stundas likmes. Izbeidziet to, kad esat pabeiguši, un maksas aprēķins beidzas; tas dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams. Sīkāka informācija ir cenu lapā.

Kas to vada

GPUwerk ir jauns, tāpēc lūk, kam jūs maksātu. Es esmu Samuel Seidel, dibinātājs, un uzņēmums ir PRINT IT! SE, reģistrēts Prāgā. Kopš 2026. gada septembra 94 izstrādātāji ir palaiduši 374 instances (dati uz 2026. gada 9. novembri). Pakalpojuma statuss ir publiski redzams status.gpuwerk.com. Jautājumi pirms sākšanas? Rakstiet caur kontaktu lapu; atbildu pats.

BUJ

Vai ar Qwen3 Coder 30B sagatavi varu izmantot pi vai OpenCode?

Ne bez izmaiņām. Abi sūta OpenAI rīku izsaukumus, un sagatave palaiž vLLM bez --enable-auto-tool-choice, tāpēc vLLM šos pieprasījumus noraida. Tā vietā izvietojiet DGX OS attēlu un apkalpojiet modeli ar llama.cpp un --jinja, kā aprakstīts šīs lapas 2. konfigurācijā. aider un Continue tērzēšanas režīms darbojas ar nemainītu sagatavi.

Cik ātrs ir Qwen3 Coder 30B uz DGX Spark?

Vienā no maniem Spark tas ģenerēja 80,9 tokenus sekundē vienam pieprasījumam un 35,2 uz pieprasījumu ar 8 pieprasījumiem vienlaikus (vLLM 0.27.1, AWQ 4 bitu, 2026. gada 2. septembris). Neapstrādātais žurnāls ir saistīts šajā lapā. llama.cpp uzturētāji ziņo par 61,1 tok/s ar Q8_0.

Cik maksā programmēšanas aģents uz Spark?

0,79 $ stundā, maksa par katru minūti no priekšapmaksas kredīta neatkarīgi no tā, ko aģents sūta: 6,32 $ par astoņu stundu darba dienu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Par apturētu instanci tiek iekasēti 75% no stundas likmes; izbeigšana beidz maksas aprēķinu un dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams.

Vai mans kods nonāk pie modeļa pakalpojumu sniedzēja?

Netiek iesaistīts trešās puses modeļa API: modelis darbojas jūsu nomātajā Spark, ko neviens cits neizmanto, kamēr tas ir jums. Pieprasījumi uz sagataves HTTPS galapunktu iet caur GPUwerk vārteju un atkarībā no instances caur Cloudflare. SSH tunelis uz serveri, ko palaižat paši, apiet abus. Partnera Spark gadījumā partnerim ir fiziska piekļuve iekārtai.

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā

Norādiet savam aģentam uz savu Spark.

Atsevišķs DGX Spark ar Qwen3 Coder 30B, gatavu apkalpošanai, 0,79 $/h, maksa par katru minūti. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.

Izvietot tagad