Soukromý programovací agent na vlastním DGX Sparku
Pronajměte si celý NVIDIA DGX Spark, spusťte image Qwen3 Coder 30B a nasměrujte svého programovacího agenta na endpoint kompatibilní s OpenAI, který na něm běží. Dokud ho máte, nikdo jiný stroj nepoužívá a hodina stojí 0,79 $ bez ohledu na to, kolik tokenů váš agent pošle. Na jednom z mých Sparků tento model generoval 80,9 tokenu za sekundu pro jeden požadavek (vLLM, 2. září 2026, nezpracovaný log).
První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Účtováno po minutách z předplaceného kreditu. Po dokončení instanci ukončete a účtování skončí. V konzoli zvolte DGX Spark 1× a pak image Qwen3 Coder 30B.
Co je na stroji
| Hardware | Jeden NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB sjednocené paměti s 273 GB/s, 1 TB NVMe. Po dobu běhu je celý stroj váš. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct v AWQ 4bit, model mixture-of-experts, který na token čte zhruba 3B ze svých 30B parametrů. Váhy už jsou na stroji. |
| Server | vLLM, které model vystavuje jako qwen3-coder-30b s kontextem 32 768 tokenů na požadavek |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, kompatibilní s OpenAI, chráněný API klíčem s oprávněním inference, který vytvoříte v konzoli |
| Shell | Rootovský terminál v prohlížeči, bez potřeby SSH klíče, nebo root přes SSH s vlastním klíčem. Soubory v /workspace přežijí restarty. |
| Kde | Tento image běží na mých vlastních Sparcích v Hradci Králové v Česku. Partnerské Sparky nabízejí image DGX OS a Ubuntu, kde model spouštíte sami (viz druhé nastavení níže). |
Jak je rychlý, naměřeno
Spustil jsem vllm bench serve proti tomuto modelu na jednom ze svých Sparků, kde na GPU nic jiného neběželo, 2. září 2026 (vLLM 0.27.1, AWQ 4bit). Celá metodika a srovnávací běh s 70B jsou na stránce s benchmarky.
| Souběžné požadavky | Vygenerováno na požadavek | Jaký je to pocit |
|---|---|---|
| 1 | 80,9 tok/s | Jeden vývojář: odpovědi přibývají rychleji, než je stíháte číst |
| 8 | 35,2 tok/s | Malý tým sdílející jeden endpoint |
| 32 | 18,4 tok/s | Mnoho paralelních běhů agentů; každý se zpomalí |
I čtení promptu je rychlé: prompt o 8 192 tokenech byl zpracován rychlostí 5 705 tok/s, zhruba 1,4 sekundy do prvního tokenu. Jde o referenční běhy, ne o slib pro vaše prompty. Předvolba, kterou nasadíte dnes, může běžet na novějším buildu vLLM a dlouhé prompty agentů trvají déle než krátké prompty z benchmarků.
Kteří agenti fungují s předvolbou beze změn
Programovací agenti komunikují s modelem jedním ze dvou způsobů a ten určuje, jaké nastavení potřebujete. Předvolba spouští vLLM jen s limitem kontextu a limitem paměti (--max-model-len 32768 --gpu-memory-utilization 0.5). Nepředává --enable-auto-tool-choice a vLLM odmítá požadavky na automatické volání nástrojů, pokud server nebyl spuštěn s tímto přepínačem a parserem volání nástrojů.
- aider žádá o úpravy jako text a nepotřebuje volání nástrojů, takže funguje s předvolbou beze změn. Stejně tak režim chatu a úprav v Continue.
- pi a OpenCode jsou postavené na volání nástrojů, stejně jako agentní režim Continue. Pro ně si model provozujte sami se zapnutým voláním nástrojů. Trvá to zhruba 15 minut a funguje to na každém Sparku, včetně partnerských strojů.
Nastavení 1: předvolba s aider
- V konzoli přidejte kredit, zvolte DGX Spark 1× a image Qwen3 Coder 30B a nasaďte. Účtování začne, jakmile instance projde kontrolou připravenosti a ukáže stav running.
- V konzoli vytvořte API klíč s oprávněním inference a zkopírujte endpoint HTTPS ze stránky instance.
- Na svém notebooku ověřte, že endpoint odpovídá. Odpověď uvádí
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Pak spusťte aider ve svém repozitáři. Prefix openai/ říká aideru, jakým formátem API má mluvit; žádná služba OpenAI se nepoužívá.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Nastavení Continue a Cline pro stejný endpoint najdete v článku programovací agenti proti vlastnímu endpointu.
Nastavení 2: pi nebo OpenCode s voláním nástrojů
Nasaďte místo toho image DGX OS. Sestavte llama.cpp pro GB10 a spusťte Qwen3 Coder s --jinja, což použije vlastní chatovací šablonu modelu a vrací jeho volání nástrojů ve formátu OpenAI. Toto jsou kroky sestavení z mého návodu k llama.cpp, spuštěné v terminálu v prohlížeči:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Server naslouchá jen na 127.0.0.1, takže se k němu dostanete přes SSH tunel z notebooku. To vyžaduje vlastní SSH klíč na instanci (dvě minuty). Správci llama.cpp uvádějí pro tento model v Q8_0 na DGX Sparku 61,1 tok/s (výsledky DGX Spark, build 7941); tuto cestu jsem sám neměřil.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) čte poskytovatele z opencode.json ve vašem projektu:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) čte ~/.pi/agent/models.json. Udržujte contextWindow na hodnotě serverového -c nebo nižší, jinak pi přeplní kontext a server požadavek odmítne.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Pak pi --model qwen3-coder ve vašem repozitáři. Server běží dál i po skončení agenta; na konci dne instanci ukončete v konzoli.
Co koupí hodina ve srovnání s účtem za API
Spark stojí 0,79 $ za hodinu, účtováno po minutách: 6,32 $ za osmihodinový den, 132,72 $ za 21 takových dní. Co za to dostanete, závisí na tom, jak ho vytížíte. Podle mého výpočtu z naměřených rychlostí výše:
- Jeden vývojář, jeden požadavek najednou: 80,9 tok/s je nejvýše zhruba 291 000 vygenerovaných tokenů za hodinu, tedy 2,71 $ za milion, pokud se model nikdy nezastaví. Skutečné relace se zastavují, když čtete a běží testy, takže na token to vychází dráž.
- Tým sdílející endpoint: při 8 souběžných požadavcích je 8 × 35,2 tok/s zhruba 1 milion vygenerovaných tokenů za hodinu, zhruba 0,78 $ za milion.
- Tokeny promptu nic navíc nestojí. Agent při každém kroku znovu posílá vaše soubory a celou konverzaci, takže u API s platbou za tokeny tvoří většinu účtu vstup. Tady je cenou čas: prefill rychlostí 5 705 tok/s.
Postavte tato čísla vedle vlastní faktury za API. Pro jednoho vývojáře, jehož programátorské předplatné nikdy nenarazí na limity, je předplatné pravděpodobně levnější. Spark se vyplatí, když jeden endpoint sdílí několik lidí, když limity rychlosti zastavují dlouhé běhy agentů nebo když by váš kód neměl jít k poskytovateli modelu.
Omezení, která je dobré znát předem
- Je to středně velký otevřený model. Qwen3 Coder 30B je tu rychlý, protože na token čte zhruba 3B parametrů. Není to špičkový model a programovací benchmark jsem na něm nespouštěl. Než na něj přesunete práci, vyzkoušejte ho na vlastních úlohách.
- 32 768 tokenů na požadavek v předvolbě. Agent, který čte mnoho souborů, na to narazí. Nastavení 2 vám umožní zvolit délku kontextu.
- Předvolba běží jen na mých vlastních Sparcích. Když jsou všechny pronajaté, konzole to ukáže. Na partnerských Sparcích běží nastavení 2.
- Endpoint předvolby prochází mou bránou. Je to veřejné HTTPS chráněné vaším API klíčem a podle instance TLS končí v Cloudflare a v mé bráně, než požadavek dorazí ke Sparku (API uvádí které jako
https_termination). Pro kód, který by neměl procházet ani jedním, použijte SSH tunel z nastavení 2. - Spark je ARM64. Váš agent běží na notebooku, takže tady na tom málokdy záleží, ale cokoli instalujete přímo na Spark, potřebuje build pro aarch64.
- Bez SLA a bez záloh. Svůj kód mějte v gitu u sebe; ukončením se pracovní prostor smaže.
Kde Sparky jsou
Moje vlastní Sparky jsou v datacentru v Hradci Králové v Česku. Partnerské Sparky vlastní a ve svých prostorách hostují partneři v USA, Švédsku, Nizozemsku, na Slovensku a v Hongkongu. Konzole před nasazením ukáže zemi a zda je v EHP. Partner má ke svému stroji fyzický přístup a stroj mimo EHP znamená, že vaše data opustí EU/EHP, takže zvolte umístění, které vyhovuje vašemu kódu.
Cena
0,79 $ za hodinu za jeden Spark, účtováno po minutách z předplaceného kreditu. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Zastavená instance si ponechá pracovní prostor a účtuje se 75 % hodinové sazby. Po dokončení ji ukončete a účtování skončí; tím se pracovní prostor smaže. Ceny jsou uvedeny bez DPH, pokud se uplatňuje. Podrobnosti najdete na stránce s ceníkem.
Kdo to provozuje
GPUwerk je nový, takže tady je, komu byste platili. Jsem Samuel Seidel, zakladatel, a firmou je PRINT IT! SE se sídlem v Praze. Od září 2026 spustilo 94 vývojářů 374 instancí (k 9. listopadu 2026). Stav služby je veřejně na status.gpuwerk.com. Máte před začátkem otázky? Napište přes kontaktní stránku; odpovídám sám.
FAQ
Mohu s předvolbou Qwen3 Coder 30B používat pi nebo OpenCode?
Ne v současné podobě. Oba posílají volání nástrojů OpenAI a předvolba spouští vLLM bez --enable-auto-tool-choice, takže vLLM tyto požadavky odmítá. Nasaďte místo toho image DGX OS a model provozujte v llama.cpp s --jinja, jako v nastavení 2 na této stránce. aider a chatovací režim Continue fungují s předvolbou beze změn.
Jak rychlý je Qwen3 Coder 30B na DGX Sparku?
Na jednom z mých Sparků generoval 80,9 tokenu za sekundu pro jeden požadavek a 35,2 na požadavek při 8 požadavcích najednou (vLLM 0.27.1, AWQ 4bit, 2. září 2026). Surový log je odkazován na této stránce. Správci llama.cpp uvádějí 61,1 tok/s v Q8_0.
Kolik stojí programovací agent na Sparku?
0,79 $ za hodinu, účtováno po minutách z předplaceného kreditu, ať agent odešle cokoli: 6,32 $ za osmihodinový den. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Zastavená instance se účtuje 75 % hodinové sazby; ukončením instance účtování skončí a pracovní prostor se smaže. Ceny jsou uvedeny bez DPH, pokud se uplatňuje.
Jde můj kód k poskytovateli modelu?
Žádné API modelu třetí strany se nepoužívá: model běží na Sparku, který si pronajímáte a který po tu dobu nikdo jiný nepoužívá. Požadavky na HTTPS endpoint předvolby procházejí bránou GPUwerk a podle instance i Cloudflare. SSH tunel k serveru, který si spustíte sami, se vyhne obojímu. U partnerského Sparku má partner ke stroji fyzický přístup.