Privatni agent za programiranje na vašem vlastitom DGX Sparku
Unajmite cijeli NVIDIA DGX Spark, pokrenite sliku Qwen3 Coder 30B i usmjerite svog agenta za programiranje na krajnju točku kompatibilnu s OpenAI-jem koju poslužuje. Dok je vaš, stroj ne koristi nitko drugi, a sat stoji 0,79 USD bez obzira na to koliko tokena vaš agent pošalje. Na jednom od mojih Sparkova ovaj je model generirao 80,9 tokena u sekundi za jedan zahtjev (vLLM, 2. rujna 2026., neobrađeni zapis).
Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Naplata po minuti iz unaprijed plaćenog kredita. Ukinite instancu kad završite i naplata prestaje. U konzoli odaberite DGX Spark 1×, a zatim sliku Qwen3 Coder 30B.
Što je na stroju
| Hardver | Jedan NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB objedinjene memorije pri 273 GB/s, 1 TB NVMe. Cijeli je stroj vaš dok radi. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct u AWQ 4-bitnom zapisu, mixture-of-experts model koji po tokenu čita oko 3B od svojih 30B parametara. Težine su već na stroju. |
| Poslužitelj | vLLM, poslužuje model kao qwen3-coder-30b s kontekstom od 32.768 tokena po zahtjevu |
| Krajnja točka | https://app-<instance-id>.gpuwerk.com/v1, kompatibilno s OpenAI-jem, zaštićeno API ključem s opsegom za inferenciju koji izradite u konzoli |
| Ljuska | Root terminal u pregledniku, bez SSH ključa, ili root putem SSH-a s vlastitim ključem. Datoteke u /workspace ostaju sačuvane nakon ponovnih pokretanja. |
| Gdje | Ova slika radi na mojim Sparkovima u Hradecu Králové u Češkoj. Partnerski Sparkovi nude slike DGX OS i Ubuntu, na kojima model pokrećete sami (pogledajte drugu postavku u nastavku). |
Koliko je brz, izmjereno
Pokrenuo sam vllm bench serve na ovom modelu na jednom od svojih Sparkova, bez ičega drugog na njegovu GPU-u, 2. rujna 2026. (vLLM 0.27.1, AWQ 4-bit). Potpuna metoda i usporedno mjerenje na 70B nalaze se na stranici s mjerenjima performansi.
| Istodobnih zahtjeva | Generirano po zahtjevu | Kakav je osjećaj u radu |
|---|---|---|
| 1 | 80,9 tok/s | Jedan razvojni programer: odgovori stižu brže nego što ih stignete pročitati |
| 8 | 35,2 tok/s | Mali tim koji dijeli jednu krajnju točku |
| 32 | 18,4 tok/s | Mnogo paralelnih agentskih izvođenja; svako se usporava |
I čitanje upita je brzo: upit od 8.192 tokena ušao je pri 5.705 tok/s, dakle oko 1,4 sekunde prije prvog tokena. Ovo su referentna mjerenja, a ne obećanje za vaše upite. Gotova postavka koju danas pokrenete može raditi na novijoj verziji vLLM-a, a dugi agentski upiti traju dulje od kratkih testnih.
Koji agenti rade s gotovom postavkom bez izmjena
Agenti za programiranje komuniciraju s modelom na jedan od dva načina, a to određuje koja vam konfiguracija treba. Gotova postavka pokreće vLLM samo s ograničenjem konteksta i memorije (--max-model-len 32768 --gpu-memory-utilization 0.5). Ne prosljeđuje --enable-auto-tool-choice, a vLLM odbija zahtjeve koji traže automatske pozive alata osim ako je poslužitelj pokrenut s tom zastavicom i parserom poziva alata.
- aider traži izmjene kao tekst i ne treba pozive alata, pa radi s gotovom postavkom bez izmjena. Isto vrijedi za Continueov način razgovora i uređivanja.
- pi i OpenCode grade se na pozivima alata, kao i Continueov agentski način rada. Za njih model poslužite sami s uključenim pozivima alata. Traje otprilike 15 minuta i radi na svakom Sparku, uključujući partnerske strojeve.
Konfiguracija 1: gotova postavka s aiderom
- U konzoli dodajte kredit, odaberite DGX Spark 1× i sliku Qwen3 Coder 30B i pokrenite. Naplata počinje kad instanca prođe provjeru spremnosti i prikaže stanje running.
- U konzoli izradite API ključ s ovlašću za inferenciju i kopirajte HTTPS krajnju točku sa stranice instance.
- Na svom prijenosniku provjerite odgovara li krajnja točka. Odgovor navodi
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Zatim pokrenite aider u svom repozitoriju. Prefiks openai/ govori aideru koji format API-ja koristiti; nikakva usluga OpenAI-ja nije uključena.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Postavke za Continue i Cline za istu krajnju točku nalaze se u članku agenti za programiranje s vlastitom krajnjom točkom.
Konfiguracija 2: pi ili OpenCode, s pozivima alata
Umjesto toga pokrenite sliku sustava DGX OS. Izgradite llama.cpp za GB10 i pokrenite Qwen3 Coder s --jinja, čime se primjenjuje vlastiti predložak razgovora modela i vraćaju njegovi pozivi alata u OpenAI formatu. Ovo su koraci izgradnje iz mog vodiča za llama.cpp, pokrenuti u terminalu u pregledniku:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Poslužitelj sluša samo na 127.0.0.1, pa do njega dođite SSH tunelom s prijenosnika. Za to vam treba vlastiti SSH ključ na instanci (dvije minute). Održavatelji llama.cpp za ovaj model prijavljuju 61,1 tok/s pri Q8_0 na DGX Sparku (rezultati za DGX Spark, build 7941); ovaj put nisam sam mjerio.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) čita pružatelje iz datoteke opencode.json u vašem projektu:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) čita ~/.pi/agent/models.json. Držite contextWindow na razini ili ispod poslužiteljeva -c, inače pi prepuni kontekst i poslužitelj odbija zahtjev.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Zatim pi --model qwen3-coder u svom repozitoriju. Poslužitelj nastavlja raditi i kad agent izađe; kad završite dan, ukinite instancu u konzoli.
Što sat donosi, uz račun za API
Spark stoji 0,79 USD po satu uz naplatu po minuti: 6,32 USD za osmosatni dan, 132,72 USD za 21 takav dan. Što za to dobivate ovisi o tome koliko ga držite zaposlenim. Prema mojem izračunu iz izmjerenih brzina iznad:
- Jedan razvojni programer, jedan zahtjev u određenom trenutku: 80,9 tok/s znači najviše oko 291.000 generiranih tokena na sat, odnosno 2,71 USD po milijunu ako model nikad ne stane. Stvarne sesije staju dok čitate i dok se izvode testovi, pa po tokenu stoji više od toga.
- Tim koji dijeli krajnju točku: uz 8 istodobnih zahtjeva, 8 × 35,2 tok/s je oko milijun generiranih tokena na sat, oko 0,78 USD po milijunu.
- Tokeni upita ne stoje ništa dodatno. Agent u svakom koraku ponovno šalje vaše datoteke i cijeli razgovor, pa na API-ju s naplatom po tokenu najveći dio računa otpada na ulaz. Ovdje je trošak vrijeme: priprema pri 5.705 tok/s.
Stavite to uz vlastiti račun za API. Za jednog razvojnog programera čija pretplata za programiranje nikad ne doseže ograničenja, pretplata je vjerojatno jeftinija. Spark se isplati kad nekoliko ljudi dijeli jednu krajnju točku, kad ograničenja brzine prekidaju duga agentska izvođenja ili kad vaš kod ne smije ići pružatelju modela.
Ograničenja koja treba prvo znati
- Riječ je o otvorenom modelu srednje veličine. Qwen3 Coder 30B ovdje je brz jer po tokenu čita oko 3B parametara. Nije vodeći model i na njemu nisam pokrenuo mjerenje za programiranje. Isprobajte ga na vlastitim zadacima prije nego što na njega prebacite posao.
- 32.768 tokena po zahtjevu na gotovoj postavci. Agent koji čita mnogo datoteka dosegne tu granicu. Konfiguracija 2 omogućuje vam da odaberete duljinu konteksta.
- Gotova postavka radi samo na mojim Sparkovima. Kad su svi unajmljeni, konzola to prikazuje. Partnerski Sparkovi rade u konfiguraciji 2.
- Krajnja točka gotove postavke prolazi kroz moj pristupnik. Riječ je o javnom HTTPS-u zaštićenom vašim API ključem, a ovisno o instanci TLS završava na Cloudflareu i mom pristupniku prije nego što zahtjev dođe do Sparka (API javlja koji, kao
https_termination). Za kôd koji ne smije proći ni kroz jedno ni kroz drugo upotrijebite SSH tunel iz konfiguracije 2. - Spark je ARM64. Vaš agent radi na vašem prijenosniku, pa to ovdje rijetko igra ulogu, ali svemu što instalirate na sam Spark treba aarch64 izdanje.
- Bez SLA-a i bez sigurnosnih kopija. Držite svoj kod u gitu na svojoj strani; ukidanjem se briše radni prostor.
Gdje se Sparkovi nalaze
Moji su Sparkovi u podatkovnom centru u Hradecu Králové u Češkoj. Partnerski Sparkovi u vlasništvu su partnera koji ih hostiraju u vlastitim prostorima u SAD-u, Švedskoj, Nizozemskoj, Slovačkoj i Hong Kongu. Konzola prije pokretanja prikazuje zemlju i je li ona u EGP-u. Partner ima fizički pristup svom stroju, a stroj izvan EGP-a znači da vaši podaci napuštaju EU/EGP, pa odaberite lokaciju koja odgovara vašem kodu.
Cijena
0,79 USD po satu za jedan Spark, naplata po minuti iz unaprijed plaćenog kredita. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Zaustavljena instanca zadržava radni prostor i naplaćuje se po 75 % satne cijene. Ukinite je kada završite i naplata prestaje; time se radni prostor briše. Cijene ne uključuju PDV gdje se primjenjuje. Pojedinosti su na stranici s cijenama.
Tko ovo vodi
GPUwerk je nov, pa evo komu biste plaćali. Ja sam Samuel Seidel, osnivač, a tvrtka je PRINT IT! SE, registrirana u Pragu. Od rujna 2026. 94 je razvojna programera pokrenulo 374 instance (stanje 9. studenoga 2026.). Status usluge javan je na status.gpuwerk.com. Imate pitanja prije početka? Pišite preko stranice za kontakt; odgovaram osobno.
Česta pitanja
Mogu li koristiti pi ili OpenCode s gotovom postavkom Qwen3 Coder 30B?
Ne u tom obliku. Oba šalju OpenAI pozive alata, a gotova postavka pokreće vLLM bez --enable-auto-tool-choice, pa vLLM te zahtjeve odbija. Umjesto toga pokrenite sliku sustava DGX OS i poslužite model s llama.cpp i --jinja, kao u konfiguraciji 2 na ovoj stranici. aider i Continueov način razgovora rade s gotovom postavkom bez izmjena.
Koliko je brz Qwen3 Coder 30B na DGX Sparku?
Na jednom od mojih Sparkova generirao je 80,9 tokena u sekundi za jedan zahtjev i 35,2 po zahtjevu uz 8 istodobnih zahtjeva (vLLM 0.27.1, AWQ 4-bit, 2. rujna 2026.). Neobrađeni je zapis povezan na ovoj stranici. Održavatelji llama.cpp prijavljuju 61,1 tok/s pri Q8_0.
Koliko stoji agent za programiranje na Sparku?
0,79 USD po satu, naplata po minuti iz unaprijed plaćenog kredita, bez obzira na to što agent šalje: 6,32 USD za osmosatni dan. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Zaustavljena instanca naplaćuje se po 75 % satne cijene; ukidanjem naplata prestaje, a radni prostor se briše. Cijene ne uključuju PDV gdje se primjenjuje.
Odlazi li moj kod pružatelju modela?
Nikakav API modela treće strane nije uključen: model radi na Sparku koji unajmljujete i koji nitko drugi ne koristi dok je vaš. Zahtjevi prema HTTPS krajnjoj točki gotove postavke prolaze kroz GPUwerkov pristupnik i, ovisno o instanci, kroz Cloudflare. SSH tunel prema poslužitelju koji sami pokrenete zaobilazi oboje. Na partnerskom Sparku partner ima fizički pristup stroju.