Un agent de programare privat pe propriul DGX Spark
Închiriați un NVIDIA DGX Spark întreg, porniți imaginea Qwen3 Coder 30B și conectați agentul de programare la endpointul compatibil OpenAI pe care îl servește. Nimeni altcineva nu folosește mașina cât timp este a dvs., iar o oră costă 0,79 $, indiferent câți tokeni trimite agentul. Pe unul dintre Spark-urile mele, acest model a generat 80,9 tokeni pe secundă pentru o singură cerere (vLLM, 2 septembrie 2026, log brut).
Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Facturat pe minut din credit preplătit. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește. În consolă, alegeți DGX Spark 1× și apoi imaginea Qwen3 Coder 30B.
Ce se află pe mașină
| Hardware | Un NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB de memorie unificată la 273 GB/s, 1 TB NVMe. Întreaga mașină este a dvs. cât timp rulează. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct în AWQ pe 4 biți, un model mixture-of-experts care citește aproximativ 3B din cei 30B parametri per token. Ponderile sunt deja pe mașină. |
| Server | vLLM, care servește modelul ca qwen3-coder-30b cu un context de 32.768 de tokeni per cerere |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, compatibil OpenAI, protejat de o cheie API cu permisiunea de inferență, pe care o creați în consolă |
| Shell | Un terminal root în browser, fără cheie SSH, sau root prin SSH cu propria cheie. Fișierele din /workspace rezistă la reporniri. |
| Unde | Această imagine rulează pe Spark-urile mele din Hradec Králové, Republica Cehă. Spark-urile partenerilor oferă imaginile DGX OS și Ubuntu, pe care porniți singur modelul (vedeți a doua configurație de mai jos). |
Cât de rapid este, măsurat
Am rulat vllm bench serve pe acest model pe unul dintre Spark-urile mele, fără nimic altceva pe GPU, pe 2 septembrie 2026 (vLLM 0.27.1, AWQ pe 4 biți). Metoda completă și rularea comparativă cu 70B sunt pe pagina de benchmark-uri.
| Cereri simultane | Generat per cerere | Cum se simte în practică |
|---|---|---|
| 1 | 80,9 tok/s | Un dezvoltator: răspunsurile curg mai repede decât le citiți |
| 8 | 35,2 tok/s | O echipă mică ce partajează un endpoint |
| 32 | 18,4 tok/s | Multe rulări de agenți în paralel; fiecare încetinește |
Și citirea promptului este rapidă: un prompt de 8.192 de tokeni a intrat la 5.705 tok/s, aproximativ 1,4 secunde până la primul token. Acestea sunt rulări de referință, nu o promisiune pentru prompturile dvs. O presetare pe care o lansați azi poate rula un build vLLM mai nou, iar prompturile lungi ale agenților durează mai mult decât cele scurte de benchmark.
Ce agenți funcționează cu presetarea așa cum este
Agenții de programare comunică cu un model în unul din două moduri, iar asta decide ce configurație vă trebuie. Presetarea pornește vLLM doar cu o limită de context și o limită de memorie (--max-model-len 32768 --gpu-memory-utilization 0.5). Nu transmite --enable-auto-tool-choice, iar vLLM refuză cererile care solicită apeluri automate de instrumente dacă serverul nu a fost pornit cu acel flag și un parser de apeluri de instrumente.
- aider cere modificările ca text și nu are nevoie de apeluri de instrumente, deci funcționează cu presetarea neschimbată. La fel și modul chat și editare din Continue.
- pi și OpenCode sunt construite pe apeluri de instrumente, la fel ca modul agent din Continue. Pentru ele, serviți singur modelul cu apelurile de instrumente activate. Durează aproximativ 15 minute și funcționează pe orice Spark, inclusiv pe mașinile partenerilor.
Configurația 1: presetarea cu aider
- În consolă, adăugați credit, alegeți DGX Spark 1× și imaginea Qwen3 Coder 30B și lansați. Facturarea începe după ce instanța trece verificarea de disponibilitate și afișează running.
- Creați în consolă o cheie API cu permisiunea de inferență și copiați endpointul HTTPS de pe pagina instanței.
- Pe laptop, verificați că endpointul răspunde. Răspunsul listează
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Apoi porniți aider în repository-ul dvs. Prefixul openai/ îi spune lui aider ce format de API să folosească; nu este implicat niciun serviciu OpenAI.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Setările Continue și Cline pentru același endpoint sunt în agenți de programare cu propriul endpoint.
Configurația 2: pi sau OpenCode, cu apeluri de instrumente
Lansați în locul ei imaginea DGX OS. Construiți llama.cpp pentru GB10 și porniți Qwen3 Coder cu --jinja, care aplică șablonul de chat propriu al modelului și returnează apelurile de instrumente în format OpenAI. Aceștia sunt pașii de build din ghidul meu llama.cpp, rulați în terminalul din browser:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Serverul ascultă doar pe 127.0.0.1, așa că îl accesați printr-un tunel SSH de pe laptop. Pentru asta aveți nevoie de propria cheie SSH pe instanță (două minute). Mentenanții llama.cpp raportează 61,1 tok/s pentru acest model la Q8_0 pe un DGX Spark (rezultatele DGX Spark, build 7941); nu am măsurat singur această cale.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) citește furnizorii din opencode.json din proiectul dvs.:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) citește ~/.pi/agent/models.json. Păstrați contextWindow la sau sub valoarea -c a serverului, altfel pi umple contextul peste limită și serverul respinge cererea.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Apoi pi --model qwen3-coder în repository-ul dvs. Serverul continuă să ruleze când agentul se închide; terminați instanța din consolă la sfârșitul zilei.
Ce cumpără o oră, comparat cu o factură API
Un Spark costă 0,79 $ pe oră, facturat pe minut: 6,32 $ pentru o zi de opt ore, 132,72 $ pentru 21 de astfel de zile. Ce obțineți pentru acești bani depinde de cât de ocupat îl țineți. După calculele mele, pe baza vitezelor măsurate mai sus:
- Un dezvoltator, câte o cerere: 80,9 tok/s înseamnă cel mult aproximativ 291.000 de tokeni generați pe oră, sau 2,71 $ per milion dacă modelul nu se oprește niciodată. Sesiunile reale fac pauze cât citiți și rulează testele, deci per token costă mai mult de atât.
- O echipă care partajează endpointul: cu 8 cereri în curs, 8 × 35,2 tok/s înseamnă aproximativ 1 milion de tokeni generați pe oră, cam 0,78 $ per milion.
- Tokenii din prompt nu costă nimic în plus. Un agent trimite din nou fișierele și întreaga conversație la fiecare pas, așa că la un API per token cea mai mare parte a facturii este intrarea. Aici costul este timpul: prefill la 5.705 tok/s.
Puneți-le alături de propria factură API. Pentru un singur dezvoltator al cărui abonament de programare nu atinge niciodată limitele, abonamentul este probabil mai ieftin. Un Spark se justifică atunci când mai multe persoane partajează un endpoint, când limitele de rată opresc rulările lungi ale agenților sau când codul dvs. nu ar trebui să ajungă la un furnizor de modele.
Limite de știut dinainte
- Este un model deschis de dimensiune medie. Qwen3 Coder 30B este rapid aici pentru că citește aproximativ 3B parametri per token. Nu este un model de frontieră și nu am rulat un benchmark de programare pe el. Încercați-l pe propriile sarcini înainte să vă mutați munca pe el.
- 32.768 de tokeni per cerere pe presetare. Un agent care citește multe fișiere atinge această limită. Configurația 2 vă permite să alegeți lungimea contextului.
- Presetarea rulează doar pe Spark-urile mele. Când sunt toate închiriate, consola o arată. Spark-urile partenerilor rulează configurația 2.
- Endpointul presetării trece prin gateway-ul meu. Este HTTPS public, protejat de cheia dvs. API, iar în funcție de instanță TLS se termină la Cloudflare și la gateway-ul meu înainte ca cererea să ajungă la Spark (API-ul raportează care, ca
https_termination). Pentru cod care nu ar trebui să treacă prin niciunul, folosiți tunelul SSH din configurația 2. - Spark-ul este ARM64. Agentul rulează pe laptopul dvs., deci aici contează rar, dar orice instalați pe Spark are nevoie de un build aarch64.
- Fără SLA și fără backupuri. Țineți codul în git la dvs.; terminarea șterge spațiul de lucru.
Unde se află Spark-urile
Spark-urile mele sunt într-un centru de date din Hradec Králové, Republica Cehă. Spark-urile partenerilor sunt deținute și găzduite de parteneri la propriile sedii, în SUA, Suedia, Țările de Jos, Slovacia și Hong Kong. Consola arată țara și dacă este în SEE înainte să lansați. Un partener are acces fizic la mașina lui, iar o mașină din afara SEE înseamnă că datele dvs. părăsesc UE/SEE, așa că alegeți locația potrivită pentru codul dvs.
Preț
0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită își păstrează spațiul de lucru și se facturează cu 75% din tariful orar. Terminați-o când nu mai aveți nevoie de ea, iar facturarea se oprește; asta șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică. Detaliile sunt pe pagina de prețuri.
Cine conduce asta
GPUwerk este nou, așa că iată cui ați plăti. Sunt Samuel Seidel, fondatorul, iar firma este PRINT IT! SE, înregistrată la Praga. Din septembrie 2026, 94 de dezvoltatori au pornit 374 de instanțe (la 9 noiembrie 2026). Starea serviciului este publică pe status.gpuwerk.com. Aveți întrebări înainte de a începe? Scrieți prin pagina de contact; răspund personal.
Întrebări frecvente
Pot folosi pi sau OpenCode cu presetarea Qwen3 Coder 30B?
Nu în forma actuală. Ambele trimit apeluri de instrumente OpenAI, iar presetarea pornește vLLM fără --enable-auto-tool-choice, deci vLLM refuză acele cereri. Lansați în locul ei imaginea DGX OS și serviți modelul cu llama.cpp și --jinja, ca în configurația 2 de pe această pagină. aider și modul chat din Continue funcționează cu presetarea neschimbată.
Cât de rapid este Qwen3 Coder 30B pe un DGX Spark?
Pe unul dintre Spark-urile mele a generat 80,9 tokeni pe secundă pentru o singură cerere și 35,2 per cerere cu 8 cereri simultane (vLLM 0.27.1, AWQ pe 4 biți, 2 septembrie 2026). Logul brut are link pe această pagină. Mentenanții llama.cpp raportează 61,1 tok/s la Q8_0.
Cât costă un agent de programare pe un Spark?
0,79 $ pe oră, facturat pe minut din credit preplătit, indiferent ce trimite agentul: 6,32 $ pentru o zi de opt ore. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită se facturează cu 75% din tariful orar; terminarea încheie facturarea și șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică.
Ajunge codul meu la un furnizor de modele?
Nu este implicat niciun API de model terț: modelul rulează pe Spark-ul pe care îl închiriați și pe care nimeni altcineva nu îl folosește cât timp este al dvs. Cererile către endpointul HTTPS al presetării trec prin gateway-ul GPUwerk și, în funcție de instanță, prin Cloudflare. Un tunel SSH către un server pornit de dvs. le evită pe amândouă. Pe un Spark de partener, partenerul are acces fizic la mașină.