Privát kódoló ágens a saját DGX Sparkján
Béreljen egy teljes NVIDIA DGX Sparkot, indítsa el a Qwen3 Coder 30B lemezképet, és irányítsa a kódoló ágensét az általa kiszolgált OpenAI-kompatibilis végpontra. Amíg az Öné, senki más nem használja a gépet, és egy óra 0,79 USD-be kerül, akárhány tokent küld az ágense. Az egyik Sparkomon ez a modell egyetlen kérésre másodpercenként 80,9 tokent generált (vLLM, 2026. szeptember 2., nyers napló).
Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Percalapú számlázás az előre fizetett kreditből. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér. A konzolban válassza a DGX Spark 1×-et, majd a Qwen3 Coder 30B lemezképet.
Mi van a gépen
| Hardver | Egy NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB egységes memória 273 GB/s sebességgel, 1 TB NVMe. Amíg fut, az egész gép az Öné. |
|---|---|
| Modell | Qwen3-Coder-30B-A3B-Instruct AWQ 4 biten, egy mixture-of-experts modell, amely 30B paraméteréből tokenenként körülbelül 3B-t olvas be. A súlyok már a gépen vannak. |
| Szerver | vLLM, amely a modellt qwen3-coder-30b néven szolgálja ki, kérésenként 32 768 tokenes kontextussal |
| Végpont | https://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibilis, a konzolban létrehozott, inference jogosultságú API-kulccsal védve |
| Shell | Root terminál a böngészőben, SSH-kulcs nélkül, vagy root SSH-n a saját kulcsával. A /workspace alatti fájlok túlélik az újraindítást. |
| Hol | Ez a lemezkép a saját Sparkjaimon fut Hradec Královéban, Csehországban. A partner-Sparkok a DGX OS és az Ubuntu lemezképeket kínálják, ahol a modellt saját maga indítja el (lásd lent a második beállítást). |
Milyen gyors, mérve
A vllm bench serve parancsot ezen a modellen futtattam az egyik Sparkomon, amelynek GPU-ján semmi más nem futott, 2026. szeptember 2-án (vLLM 0.27.1, AWQ 4 bites). A teljes módszer és a 70B-s összehasonlító futtatás a benchmarkoldalon található.
| Egyidejű kérések | Kérésenként generálva | Milyen érzés |
|---|---|---|
| 1 | 80,9 tok/s | Egy fejlesztő: a válaszok gyorsabban érkeznek, mint ahogy olvassa őket |
| 8 | 35,2 tok/s | Egy végpontot megosztó kis csapat |
| 32 | 18,4 tok/s | Sok párhuzamos ágensfuttatás; mindegyik lelassul |
A prompt beolvasása is gyors: egy 8192 tokenes prompt 5705 tok/s-mal ment be, ez körülbelül 1,4 másodperc az első tokenig. Ezek referenciafuttatások, nem ígéret az Ön promptjaira. Egy ma elindított előbeállítás újabb vLLM-buildet futtathat, a hosszú ágens-promptok pedig tovább tartanak, mint a rövid benchmark-promptok.
Mely ágensek működnek az előbeállítással változtatás nélkül
A kódoló ágensek kétféleképpen beszélnek egy modellel, és ez dönti el, melyik beállításra van szüksége. Az előbeállítás a vLLM-et csak kontextuskorláttal és memóriakorláttal indítja (--max-model-len 32768 --gpu-memory-utilization 0.5). Nem adja át az --enable-auto-tool-choice kapcsolót, a vLLM pedig elutasítja az automatikus eszközhívást kérő kéréseket, hacsak a szervert nem ezzel a kapcsolóval és egy tool-call parserrel indították.
- Az aider szövegként kéri a módosításokat, és nincs szüksége eszközhívásokra, így változatlan előbeállítással is működik. Ugyanígy a Continue csevegő- és szerkesztő módja is.
- A pi és az OpenCode eszközhívásokra épül, ahogy a Continue ágens módja is. Ezekhez szolgálja ki saját maga a modellt bekapcsolt eszközhívással. Körülbelül 15 percet vesz igénybe, és bármely Sparkon működik, a partnergépeken is.
1. beállítás: az előbeállítás aiderrel
- A konzolban töltsön fel kreditet, válassza a DGX Spark 1×-et és a Qwen3 Coder 30B lemezképet, majd indítsa el a példányt. A számlázás akkor indul, amikor a példány átmegy a készenléti ellenőrzésen, és running állapotot mutat.
- Hozzon létre a konzolban inference jogosultságú API-kulcsot, és másolja ki a HTTPS-végpontot a példány oldaláról.
- A laptopján ellenőrizze, hogy a végpont válaszol-e. A válasz tartalmazza a
qwen3-coder-30bnevet.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Ezután indítsa el az aidert a tárolójában. Az openai/ előtag megmondja az aidernek, milyen API-formátumot használjon; OpenAI-szolgáltatás nem vesz részt benne.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
A Continue és a Cline beállításai ugyanehhez a végponthoz itt találhatók: kódoló ágensek a saját végpontjával.
2. beállítás: pi vagy OpenCode, eszközhívásokkal
Indítsa inkább a DGX OS lemezképet. Fordítsa le a llama.cpp-t a GB10-re, és indítsa a Qwen3 Codert a --jinja kapcsolóval, amely a modell saját csevegősablonját alkalmazza, és OpenAI-formátumban adja vissza az eszközhívásait. Ezek a llama.cpp útmutatóm fordítási lépései, a böngészős terminálban futtatva:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
A szerver csak a 127.0.0.1-en figyel, ezért a laptopjáról SSH-alagúton érje el. Ehhez a saját SSH-kulcsára van szükség a példányon (két perc). A llama.cpp karbantartói ennél a modellnél Q8_0-n 61,1 tok/s-ot jelentenek DGX Sparkon (DGX Spark-eredmények, 7941-es build); ezt az utat magam nem mértem.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
Az OpenCode (npm install -g opencode-ai) a projektjében lévő opencode.json fájlból olvassa a szolgáltatókat:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
A pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) a ~/.pi/agent/models.json fájlt olvassa. A contextWindow értéket tartsa a szerver -c értékén vagy alatta, különben a pi túltölti a kontextust, és a szerver elutasítja a kérést.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Ezután a tárolójában futtassa a pi --model qwen3-coder parancsot. A szerver tovább fut, amikor az ágens kilép; a nap végén szüntesse meg a példányt a konzolban.
Mit ad egy óra egy API-számlához képest
Egy Spark ára 0,79 USD óránként, percalapú számlázással: egy nyolcórás nap 6,32 USD, 21 ilyen nap 132,72 USD. Hogy mit kap érte, az attól függ, mennyire tartja elfoglalva. A fenti mért sebességekből számolva:
- Egy fejlesztő, egyszerre egy kérés: a 80,9 tok/s óránként legfeljebb körülbelül 291 000 generált token, vagyis millió tokenenként 2,71 USD, ha a modell sosem áll meg. A valódi munkamenetek megállnak, amíg olvas és a tesztek futnak, így tokenenként ennél többe kerül.
- Egy végpontot megosztó csapat: 8 egyidejű kérésnél 8 × 35,2 tok/s körülbelül 1 millió generált token óránként, ez millió tokenenként körülbelül 0,78 USD.
- A prompttokenek nem kerülnek többe. Egy ágens minden körben újra elküldi a fájljait és a teljes beszélgetést, így egy tokenalapú API-nál a számla nagy része bemenet. Itt a költség idő: a prefill 5705 tok/s.
Tegye ezeket a saját API-számlája mellé. Egyetlen fejlesztőnek, akinek a programozási előfizetése sosem éri el a korlátait, valószínűleg az előfizetés olcsóbb. A Spark akkor éri meg, ha többen osztoznak egy végponton, ha a sebességkorlátok megállítják a hosszú ágensfuttatásokat, vagy ha a kódja nem kerülhet egy modellszolgáltatóhoz.
Korlátok, amelyeket előre érdemes tudni
- Ez egy közepes méretű nyílt modell. A Qwen3 Coder 30B azért gyors itt, mert tokenenként körülbelül 3B paramétert olvas be. Nem csúcsmodell, és nem futtattam rajta programozási benchmarkot. Próbálja ki a saját feladatain, mielőtt munkát helyezne át rá.
- 32 768 token kérésenként az előbeállításon. Egy sok fájlt olvasó ágens eléri ezt. A 2. beállításnál Ön választhatja meg a kontextus hosszát.
- Az előbeállítás csak a saját Sparkjaimon fut. Ha mind bérelve van, a konzol jelzi. A partner-Sparkokon a 2. beállítás fut.
- Az előbeállítás végpontja az átjárómon halad át. Nyilvános HTTPS, az API-kulcsával védve, és a példánytól függően a TLS a Cloudflare-nél és az átjárómnál végződik, mielőtt a kérés eléri a Sparkot (az API ezt
https_terminationnéven jelzi). Olyan kódhoz, amelynek egyiken sem szabad áthaladnia, használja a 2. beállítás SSH-alagútját. - A Spark ARM64-es. Az ágense a laptopján fut, így itt ez ritkán számít, de bármihez, amit magára a Sparkra telepít, aarch64-es build kell.
- Nincs SLA és nincs biztonsági mentés. A kódját tartsa a saját oldalán gitben; a megszüntetés törli a munkaterületet.
Hol vannak a Sparkok
A saját Sparkjaim egy Hradec Králové-i adatközpontban vannak, Csehországban. A partner-Sparkokat partnerek birtokolják és üzemeltetik saját telephelyükön az USA-ban, Svédországban, Hollandiában, Szlovákiában és Hongkongban. A konzol az indítás előtt mutatja az országot, és hogy az EGT-n belül van-e. A partnernek fizikai hozzáférése van a gépéhez, és egy EGT-n kívüli gép azt jelenti, hogy az adatai elhagyják az EU-t/EGT-t, ezért a kódjának megfelelő helyszínt válassza.
Ár
0,79 USD óránként egy Sparkért, percalapú számlázással az előre fizetett kreditből. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. A leállított példány megtartja a munkaterületét, és az óradíj 75%-ával számlázzuk. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér; ez törli a munkaterületet. Az árak adott esetben ÁFA nélkül értendők. A részletek az árak oldalán találhatók.
Ki üzemelteti ezt
A GPUwerk új, ezért íme, kinek fizetne. Samuel Seidel vagyok, az alapító, a cég pedig a prágai bejegyzésű PRINT IT! SE. 2026 szeptembere óta 94 fejlesztő 374 példányt indított (2026. november 9-i állapot). A szolgáltatás állapota nyilvános a status.gpuwerk.com oldalon. Kérdése van a kezdés előtt? Írjon a kapcsolati oldalon; magam válaszolok.
GYIK
Használhatom a pi-t vagy az OpenCode-ot a Qwen3 Coder 30B előbeállítással?
Így, ahogy van, nem. Mindkettő OpenAI-eszközhívásokat küld, az előbeállítás pedig --enable-auto-tool-choice nélkül indítja a vLLM-et, így a vLLM elutasítja ezeket a kéréseket. Indítsa inkább a DGX OS lemezképet, és szolgálja ki a modellt llama.cpp-vel és --jinja kapcsolóval, ahogy az oldal 2. beállításában. Az aider és a Continue csevegő módja változatlan előbeállítással is működik.
Milyen gyors a Qwen3 Coder 30B egy DGX Sparkon?
Az egyik Sparkomon egyetlen kérésre másodpercenként 80,9 tokent generált, 8 egyidejű kérésnél kérésenként 35,2-t (vLLM 0.27.1, AWQ 4 bites, 2026. szeptember 2.). A nyers napló linkje ezen az oldalon található. A llama.cpp karbantartói Q8_0-n 61,1 tok/s-ot jelentenek.
Mennyibe kerül egy kódoló ágens egy Sparkon?
0,79 USD óránként, percalapú számlázással az előre fizetett kreditből, bármit is küld az ágens: egy nyolcórás nap 6,32 USD. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. A leállított példányt az óradíj 75%-ával számlázzuk; a megszüntetés lezárja a számlázást és törli a munkaterületet. Az árak adott esetben ÁFA nélkül értendők.
Eljut a kódom egy modellszolgáltatóhoz?
Nincs benne harmadik féltől származó modell-API: a modell az Ön által bérelt Sparkon fut, amelyet senki más nem használ, amíg az Öné. Az előbeállítás HTTPS-végpontjára érkező kérések a GPUwerk átjáróján és a példánytól függően a Cloudflare-en haladnak át. Egy saját maga által indított szerverhez vezető SSH-alagút mindkettőt elkerüli. Egy partner-Sparkon a partnernek fizikai hozzáférése van a géphez.