Súkromný agent na programovanie na vlastnom DGX Sparku
Prenajmite si celý NVIDIA DGX Spark, spustite obraz Qwen3 Coder 30B a nasmerujte svojho agenta na programovanie na endpoint kompatibilný s OpenAI, ktorý tento obraz poskytuje. Kým ho máte, stroj nikto iný nepoužíva a hodina stojí 0,79 $ bez ohľadu na to, koľko tokenov váš agent pošle. Na jednom z mojich Sparkov tento model generoval 80,9 tokenu za sekundu pri jednej požiadavke (vLLM, 2. septembra 2026, surový log).
Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Účtované po minútach z predplateného kreditu. Keď skončíte, inštanciu ukončite a účtovanie sa skončí. V konzole zvoľte DGX Spark 1× a potom obraz Qwen3 Coder 30B.
Čo je na stroji
| Hardvér | Jeden NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB zjednotenej pamäte s 273 GB/s, 1 TB NVMe. Kým beží, celý stroj je váš. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct v AWQ 4-bit, model typu mixture-of-experts, ktorý na token číta asi 3B zo svojich 30B parametrov. Váhy sú už na stroji. |
| Server | vLLM, model poskytuje ako qwen3-coder-30b s kontextom 32 768 tokenov na požiadavku |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, kompatibilné s OpenAI, chránené API kľúčom s oprávnením na inferenciu, ktorý si vytvoríte v konzole |
| Shell | Root terminál v prehliadači, bez potreby SSH kľúča, alebo root cez SSH s vlastným kľúčom. Súbory v /workspace prežijú reštarty. |
| Kde | Tento obraz beží na mojich vlastných Sparkoch v Hradci Králové v Českej republike. Partnerské Sparky ponúkajú obrazy DGX OS a Ubuntu, kde si model spustíte sami (pozrite druhé nastavenie nižšie). |
Aký je rýchly, namerané
Spustil som vllm bench serve proti tomuto modelu na jednom z mojich Sparkov, bez ničoho iného na GPU, 2. septembra 2026 (vLLM 0.27.1, AWQ 4-bit). Celá metodika a porovnávací beh 70B sú na stránke s benchmarkami.
| Požiadavky naraz | Vygenerované na požiadavku | Aké je to v praxi |
|---|---|---|
| 1 | 80,9 tok/s | Jeden vývojár: odpovede prúdia rýchlejšie, ako ich stihnete čítať |
| 8 | 35,2 tok/s | Malý tím zdieľajúci jeden endpoint |
| 32 | 18,4 tok/s | Veľa paralelných behov agentov; každý sa spomalí |
Načítanie promptu je tiež rýchle: prompt s 8 192 tokenmi prešiel rýchlosťou 5 705 tok/s, asi 1,4 sekundy pred prvým tokenom. Ide o referenčné behy, nie sľub pre vaše prompty. Predvoľba, ktorú nasadíte dnes, môže bežať na novšom zostavení vLLM a dlhé prompty agentov trvajú dlhšie ako krátke benchmarkové.
Ktorí agenti fungujú s predvoľbou bez úprav
Agenti na programovanie komunikujú s modelom jedným z dvoch spôsobov a to rozhoduje, aké nastavenie potrebujete. Predvoľba spúšťa vLLM len s limitom kontextu a limitom pamäte (--max-model-len 32768 --gpu-memory-utilization 0.5). Neodovzdáva --enable-auto-tool-choice a vLLM odmieta požiadavky, ktoré žiadajú automatické volanie nástrojov, pokiaľ server nebol spustený s týmto prepínačom a parserom volaní nástrojov.
- aider žiada úpravy ako text a nepotrebuje volania nástrojov, takže funguje s nezmenenou predvoľbou. Rovnako aj režim chatu a úprav v Continue.
- pi a OpenCode sú postavené na volaniach nástrojov, rovnako ako režim agenta v Continue. Pre ne si model spustite sami so zapnutým volaním nástrojov. Trvá to asi 15 minút a funguje to na akomkoľvek Sparku, vrátane partnerských strojov.
Nastavenie 1: predvoľba s aider
- V konzole pridajte kredit, zvoľte DGX Spark 1× a obraz Qwen3 Coder 30B a nasaďte. Účtovanie začne, keď inštancia prejde kontrolou pripravenosti a zobrazí running.
- V konzole vytvorte API kľúč s oprávnením na inferenciu a zo stránky inštancie skopírujte HTTPS endpoint.
- Na svojom notebooku overte, že endpoint odpovedá. Odpoveď uvádza
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Potom vo svojom repozitári spustite aider. Predpona openai/ hovorí aideru, aký formát API má používať; žiadna služba OpenAI sa nezapája.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Nastavenia Continue a Cline pre ten istý endpoint nájdete v návode agenti na programovanie s vlastným endpointom.
Nastavenie 2: pi alebo OpenCode s volaniami nástrojov
Namiesto toho nasaďte obraz DGX OS. Zostavte llama.cpp pre GB10 a spustite Qwen3 Coder s --jinja, čo použije vlastnú chatovú šablónu modelu a vracia jeho volania nástrojov vo formáte OpenAI. Toto sú kroky zostavenia z môjho návodu k llama.cpp, spustené v termináli v prehliadači:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Server počúva len na 127.0.0.1, takže sa k nemu dostanete cez SSH tunel zo svojho notebooku. To vyžaduje váš vlastný SSH kľúč na inštancii (dve minúty). Správcovia llama.cpp uvádzajú pre tento model 61,1 tok/s pri Q8_0 na DGX Sparku (výsledky DGX Sparku, build 7941); túto cestu som sám nemeral.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) číta poskytovateľov z opencode.json vo vašom projekte:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) číta ~/.pi/agent/models.json. Hodnotu contextWindow držte na úrovni serverového -c alebo pod ňou, inak pi preplní kontext a server požiadavku odmietne.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Potom vo svojom repozitári spustite pi --model qwen3-coder. Server beží ďalej, aj keď agent skončí; na konci dňa inštanciu ukončite v konzole.
Čo kúpite za hodinu v porovnaní s účtom za API
Spark stojí 0,79 $ za hodinu, účtované po minútach: 6,32 $ za osemhodinový deň, 132,72 $ za 21 takých dní. Čo za to dostanete, závisí od toho, ako veľmi ho vyťažíte. Podľa mojich výpočtov z nameraných rýchlostí vyššie:
- Jeden vývojár, jedna požiadavka naraz: 80,9 tok/s je najviac asi 291 000 vygenerovaných tokenov za hodinu, alebo 2,71 $ za milión, ak model nikdy nečaká. Skutočné relácie čakajú, kým čítate a bežia testy, takže na token to stojí viac.
- Tím zdieľajúci endpoint: pri 8 súbežných požiadavkách je 8 × 35,2 tok/s asi 1 milión vygenerovaných tokenov za hodinu, asi 0,78 $ za milión.
- Tokeny promptu nestoja nič navyše. Agent pri každom kroku znova posiela vaše súbory a celú konverzáciu, takže pri API účtovanom po tokenoch tvorí väčšinu účtu vstup. Tu je nákladom čas: prefill rýchlosťou 5 705 tok/s.
Porovnajte to so svojou vlastnou faktúrou za API. Pre jedného vývojára, ktorého predplatné na programovanie nikdy nenarazí na limity, je predplatné pravdepodobne lacnejšie. Spark sa oplatí, keď jeden endpoint zdieľa viac ľudí, keď limity požiadaviek zastavujú dlhé behy agentov alebo keď by váš kód nemal ísť k poskytovateľovi modelu.
Obmedzenia, ktoré treba poznať vopred
- Je to stredne veľký otvorený model. Qwen3 Coder 30B je tu rýchly, pretože na token číta asi 3B parametrov. Nie je to špičkový model a programátorský benchmark som na ňom nespúšťal. Vyskúšajte ho na vlastných úlohách skôr, než naň presuniete prácu.
- Predvoľba má 32 768 tokenov na požiadavku. Agent, ktorý číta veľa súborov, na to narazí. Nastavenie 2 vám umožní zvoliť dĺžku kontextu.
- Predvoľba beží len na mojich vlastných Sparkoch. Keď sú všetky prenajaté, konzola to ukáže. Partnerské Sparky používajú nastavenie 2.
- Endpoint predvoľby prechádza cez moju bránu. Je to verejné HTTPS chránené vaším API kľúčom a v závislosti od inštancie sa TLS ukončuje na Cloudflare a mojej bráne skôr, než požiadavka dorazí na Spark (API to uvádza ako
https_termination). Pre kód, ktorý by nemal prechádzať ani jedným, použite SSH tunel z nastavenia 2. - Spark je ARM64. Váš agent beží na vašom notebooku, takže tu to zriedka zohráva úlohu, ale všetko, čo inštalujete na samotný Spark, potrebuje zostavenie pre aarch64.
- Bez SLA a bez záloh. Svoj kód majte v gite na svojej strane; ukončenie pracovný priestor vymaže.
Kde sú Sparky
Moje vlastné Sparky sú v dátovom centre v Hradci Králové v Českej republike. Partnerské Sparky vlastnia a vo svojich priestoroch hostujú partneri v USA, Švédsku, Holandsku, na Slovensku a v Hongkongu. Konzola pred nasadením zobrazí krajinu a či je v EHP. Partner má k svojmu stroju fyzický prístup a stroj mimo EHP znamená, že vaše dáta opustia EÚ/EHP, preto zvoľte umiestnenie, ktoré vyhovuje vášmu kódu.
Cena
0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia si ponechá pracovný priestor a účtuje sa za 75 % hodinovej sadzby. Keď skončíte, inštanciu ukončite a účtovanie sa skončí; tým sa pracovný priestor vymaže. Ceny sú bez DPH, ak sa uplatňuje. Podrobnosti nájdete na stránke s cenami.
Kto za tým stojí
GPUwerk je nový, takže tu je, komu by ste platili. Som Samuel Seidel, zakladateľ, a firma je PRINT IT! SE so sídlom v Prahe. Od septembra 2026 spustilo 94 vývojárov 374 inštancií (stav k 9. novembru 2026). Stav služby je verejne na status.gpuwerk.com. Máte otázky skôr, než začnete? Napíšte cez kontaktnú stránku; odpovedám osobne.
FAQ
Môžem s predvoľbou Qwen3 Coder 30B používať pi alebo OpenCode?
Nie bez úprav. Oba posielajú volania nástrojov OpenAI a predvoľba spúšťa vLLM bez --enable-auto-tool-choice, takže vLLM tieto požiadavky odmieta. Namiesto toho nasaďte obraz DGX OS a model obsluhujte cez llama.cpp s --jinja, ako v nastavení 2 na tejto stránke. aider a režim chatu v Continue fungujú s nezmenenou predvoľbou.
Aký rýchly je Qwen3 Coder 30B na DGX Sparku?
Na jednom z mojich Sparkov generoval 80,9 tokenu za sekundu pri jednej požiadavke a 35,2 na požiadavku pri 8 požiadavkách naraz (vLLM 0.27.1, AWQ 4-bit, 2. septembra 2026). Surový log je odkazovaný na tejto stránke. Správcovia llama.cpp uvádzajú 61,1 tok/s pri Q8_0.
Koľko stojí agent na programovanie na Sparku?
0,79 $ za hodinu, účtované po minútach z predplateného kreditu, nech agent posiela čokoľvek: 6,32 $ za osemhodinový deň. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia sa účtuje za 75 % hodinovej sadzby; ukončením sa účtovanie skončí a pracovný priestor sa vymaže. Ceny sú bez DPH, ak sa uplatňuje.
Ide môj kód k poskytovateľovi modelu?
Nezapája sa žiadne API modelu tretej strany: model beží na Sparku, ktorý si prenajímate a ktorý nikto iný počas vášho prenájmu nepoužíva. Požiadavky na HTTPS endpoint predvoľby prechádzajú cez bránu GPUwerk a v závislosti od inštancie cez Cloudflare. SSH tunel k serveru, ktorý si spustíte sami, sa obom vyhne. Na partnerskom Sparku má partner k stroju fyzický prístup.