DGX Spark/Agenti na programovanie
Prípad použitia · Agenti na programovanie

Súkromný agent na programovanie na vlastnom DGX Sparku

Samuel Seidel · Aktualizované 10. novembra 2026 · 8 min čítania

Prenajmite si celý NVIDIA DGX Spark, spustite obraz Qwen3 Coder 30B a nasmerujte svojho agenta na programovanie na endpoint kompatibilný s OpenAI, ktorý tento obraz poskytuje. Kým ho máte, stroj nikto iný nepoužíva a hodina stojí 0,79 $ bez ohľadu na to, koľko tokenov váš agent pošle. Na jednom z mojich Sparkov tento model generoval 80,9 tokenu za sekundu pri jednej požiadavke (vLLM, 2. septembra 2026, surový log).

Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Účtované po minútach z predplateného kreditu. Keď skončíte, inštanciu ukončite a účtovanie sa skončí. V konzole zvoľte DGX Spark 1× a potom obraz Qwen3 Coder 30B.

Čo je na stroji

HardvérJeden NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB zjednotenej pamäte s 273 GB/s, 1 TB NVMe. Kým beží, celý stroj je váš.
ModelQwen3-Coder-30B-A3B-Instruct v AWQ 4-bit, model typu mixture-of-experts, ktorý na token číta asi 3B zo svojich 30B parametrov. Váhy sú už na stroji.
ServervLLM, model poskytuje ako qwen3-coder-30b s kontextom 32 768 tokenov na požiadavku
Endpointhttps://app-<instance-id>.gpuwerk.com/v1, kompatibilné s OpenAI, chránené API kľúčom s oprávnením na inferenciu, ktorý si vytvoríte v konzole
ShellRoot terminál v prehliadači, bez potreby SSH kľúča, alebo root cez SSH s vlastným kľúčom. Súbory v /workspace prežijú reštarty.
KdeTento obraz beží na mojich vlastných Sparkoch v Hradci Králové v Českej republike. Partnerské Sparky ponúkajú obrazy DGX OS a Ubuntu, kde si model spustíte sami (pozrite druhé nastavenie nižšie).

Aký je rýchly, namerané

Spustil som vllm bench serve proti tomuto modelu na jednom z mojich Sparkov, bez ničoho iného na GPU, 2. septembra 2026 (vLLM 0.27.1, AWQ 4-bit). Celá metodika a porovnávací beh 70B sú na stránke s benchmarkami.

Požiadavky narazVygenerované na požiadavkuAké je to v praxi
180,9 tok/sJeden vývojár: odpovede prúdia rýchlejšie, ako ich stihnete čítať
835,2 tok/sMalý tím zdieľajúci jeden endpoint
3218,4 tok/sVeľa paralelných behov agentov; každý sa spomalí

Načítanie promptu je tiež rýchle: prompt s 8 192 tokenmi prešiel rýchlosťou 5 705 tok/s, asi 1,4 sekundy pred prvým tokenom. Ide o referenčné behy, nie sľub pre vaše prompty. Predvoľba, ktorú nasadíte dnes, môže bežať na novšom zostavení vLLM a dlhé prompty agentov trvajú dlhšie ako krátke benchmarkové.

Ktorí agenti fungujú s predvoľbou bez úprav

Agenti na programovanie komunikujú s modelom jedným z dvoch spôsobov a to rozhoduje, aké nastavenie potrebujete. Predvoľba spúšťa vLLM len s limitom kontextu a limitom pamäte (--max-model-len 32768 --gpu-memory-utilization 0.5). Neodovzdáva --enable-auto-tool-choice a vLLM odmieta požiadavky, ktoré žiadajú automatické volanie nástrojov, pokiaľ server nebol spustený s týmto prepínačom a parserom volaní nástrojov.

Nastavenie 1: predvoľba s aider

  1. V konzole pridajte kredit, zvoľte DGX Spark 1× a obraz Qwen3 Coder 30B a nasaďte. Účtovanie začne, keď inštancia prejde kontrolou pripravenosti a zobrazí running.
  2. V konzole vytvorte API kľúč s oprávnením na inferenciu a zo stránky inštancie skopírujte HTTPS endpoint.
  3. Na svojom notebooku overte, že endpoint odpovedá. Odpoveď uvádza qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Potom vo svojom repozitári spustite aider. Predpona openai/ hovorí aideru, aký formát API má používať; žiadna služba OpenAI sa nezapája.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Nastavenia Continue a Cline pre ten istý endpoint nájdete v návode agenti na programovanie s vlastným endpointom.

Nastavenie 2: pi alebo OpenCode s volaniami nástrojov

Namiesto toho nasaďte obraz DGX OS. Zostavte llama.cpp pre GB10 a spustite Qwen3 Coder s --jinja, čo použije vlastnú chatovú šablónu modelu a vracia jeho volania nástrojov vo formáte OpenAI. Toto sú kroky zostavenia z môjho návodu k llama.cpp, spustené v termináli v prehliadači:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Server počúva len na 127.0.0.1, takže sa k nemu dostanete cez SSH tunel zo svojho notebooku. To vyžaduje váš vlastný SSH kľúč na inštancii (dve minúty). Správcovia llama.cpp uvádzajú pre tento model 61,1 tok/s pri Q8_0 na DGX Sparku (výsledky DGX Sparku, build 7941); túto cestu som sám nemeral.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) číta poskytovateľov z opencode.json vo vašom projekte:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) číta ~/.pi/agent/models.json. Hodnotu contextWindow držte na úrovni serverového -c alebo pod ňou, inak pi preplní kontext a server požiadavku odmietne.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Potom vo svojom repozitári spustite pi --model qwen3-coder. Server beží ďalej, aj keď agent skončí; na konci dňa inštanciu ukončite v konzole.

Čo kúpite za hodinu v porovnaní s účtom za API

Spark stojí 0,79 $ za hodinu, účtované po minútach: 6,32 $ za osemhodinový deň, 132,72 $ za 21 takých dní. Čo za to dostanete, závisí od toho, ako veľmi ho vyťažíte. Podľa mojich výpočtov z nameraných rýchlostí vyššie:

Porovnajte to so svojou vlastnou faktúrou za API. Pre jedného vývojára, ktorého predplatné na programovanie nikdy nenarazí na limity, je predplatné pravdepodobne lacnejšie. Spark sa oplatí, keď jeden endpoint zdieľa viac ľudí, keď limity požiadaviek zastavujú dlhé behy agentov alebo keď by váš kód nemal ísť k poskytovateľovi modelu.

Obmedzenia, ktoré treba poznať vopred

Kde sú Sparky

Moje vlastné Sparky sú v dátovom centre v Hradci Králové v Českej republike. Partnerské Sparky vlastnia a vo svojich priestoroch hostujú partneri v USA, Švédsku, Holandsku, na Slovensku a v Hongkongu. Konzola pred nasadením zobrazí krajinu a či je v EHP. Partner má k svojmu stroju fyzický prístup a stroj mimo EHP znamená, že vaše dáta opustia EÚ/EHP, preto zvoľte umiestnenie, ktoré vyhovuje vášmu kódu.

Cena

0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia si ponechá pracovný priestor a účtuje sa za 75 % hodinovej sadzby. Keď skončíte, inštanciu ukončite a účtovanie sa skončí; tým sa pracovný priestor vymaže. Ceny sú bez DPH, ak sa uplatňuje. Podrobnosti nájdete na stránke s cenami.

Kto za tým stojí

GPUwerk je nový, takže tu je, komu by ste platili. Som Samuel Seidel, zakladateľ, a firma je PRINT IT! SE so sídlom v Prahe. Od septembra 2026 spustilo 94 vývojárov 374 inštancií (stav k 9. novembru 2026). Stav služby je verejne na status.gpuwerk.com. Máte otázky skôr, než začnete? Napíšte cez kontaktnú stránku; odpovedám osobne.

FAQ

Môžem s predvoľbou Qwen3 Coder 30B používať pi alebo OpenCode?

Nie bez úprav. Oba posielajú volania nástrojov OpenAI a predvoľba spúšťa vLLM bez --enable-auto-tool-choice, takže vLLM tieto požiadavky odmieta. Namiesto toho nasaďte obraz DGX OS a model obsluhujte cez llama.cpp s --jinja, ako v nastavení 2 na tejto stránke. aider a režim chatu v Continue fungujú s nezmenenou predvoľbou.

Aký rýchly je Qwen3 Coder 30B na DGX Sparku?

Na jednom z mojich Sparkov generoval 80,9 tokenu za sekundu pri jednej požiadavke a 35,2 na požiadavku pri 8 požiadavkách naraz (vLLM 0.27.1, AWQ 4-bit, 2. septembra 2026). Surový log je odkazovaný na tejto stránke. Správcovia llama.cpp uvádzajú 61,1 tok/s pri Q8_0.

Koľko stojí agent na programovanie na Sparku?

0,79 $ za hodinu, účtované po minútach z predplateného kreditu, nech agent posiela čokoľvek: 6,32 $ za osemhodinový deň. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia sa účtuje za 75 % hodinovej sadzby; ukončením sa účtovanie skončí a pracovný priestor sa vymaže. Ceny sú bez DPH, ak sa uplatňuje.

Ide môj kód k poskytovateľovi modelu?

Nezapája sa žiadne API modelu tretej strany: model beží na Sparku, ktorý si prenajímate a ktorý nikto iný počas vášho prenájmu nepoužíva. Požiadavky na HTTPS endpoint predvoľby prechádzajú cez bránu GPUwerk a v závislosti od inštancie cez Cloudflare. SSH tunel k serveru, ktorý si spustíte sami, sa obom vyhne. Na partnerskom Sparku má partner k stroju fyzický prístup.

Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu

Nasmerujte svojho agenta na vlastný Spark.

Vyhradený DGX Spark s modelom Qwen3 Coder 30B pripraveným obsluhovať požiadavky, 0,79 $/hod. účtované po minútach. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.

Nasadiť teraz