DGX Spark/Kódoló ágensek
Felhasználási eset · Kódoló ágensek

Privát kódoló ágens a saját DGX Sparkján

Szerző: Samuel Seidel · Frissítve: 2026. november 10. · 8 perces olvasmány

Béreljen egy teljes NVIDIA DGX Sparkot, indítsa el a Qwen3 Coder 30B lemezképet, és irányítsa a kódoló ágensét az általa kiszolgált OpenAI-kompatibilis végpontra. Amíg az Öné, senki más nem használja a gépet, és egy óra 0,79 USD-be kerül, akárhány tokent küld az ágense. Az egyik Sparkomon ez a modell egyetlen kérésre másodpercenként 80,9 tokent generált (vLLM, 2026. szeptember 2., nyers napló).

Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Percalapú számlázás az előre fizetett kreditből. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér. A konzolban válassza a DGX Spark 1×-et, majd a Qwen3 Coder 30B lemezképet.

Mi van a gépen

HardverEgy NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB egységes memória 273 GB/s sebességgel, 1 TB NVMe. Amíg fut, az egész gép az Öné.
ModellQwen3-Coder-30B-A3B-Instruct AWQ 4 biten, egy mixture-of-experts modell, amely 30B paraméteréből tokenenként körülbelül 3B-t olvas be. A súlyok már a gépen vannak.
SzervervLLM, amely a modellt qwen3-coder-30b néven szolgálja ki, kérésenként 32 768 tokenes kontextussal
Végponthttps://app-<instance-id>.gpuwerk.com/v1, OpenAI-kompatibilis, a konzolban létrehozott, inference jogosultságú API-kulccsal védve
ShellRoot terminál a böngészőben, SSH-kulcs nélkül, vagy root SSH-n a saját kulcsával. A /workspace alatti fájlok túlélik az újraindítást.
HolEz a lemezkép a saját Sparkjaimon fut Hradec Královéban, Csehországban. A partner-Sparkok a DGX OS és az Ubuntu lemezképeket kínálják, ahol a modellt saját maga indítja el (lásd lent a második beállítást).

Milyen gyors, mérve

A vllm bench serve parancsot ezen a modellen futtattam az egyik Sparkomon, amelynek GPU-ján semmi más nem futott, 2026. szeptember 2-án (vLLM 0.27.1, AWQ 4 bites). A teljes módszer és a 70B-s összehasonlító futtatás a benchmarkoldalon található.

Egyidejű kérésekKérésenként generálvaMilyen érzés
180,9 tok/sEgy fejlesztő: a válaszok gyorsabban érkeznek, mint ahogy olvassa őket
835,2 tok/sEgy végpontot megosztó kis csapat
3218,4 tok/sSok párhuzamos ágensfuttatás; mindegyik lelassul

A prompt beolvasása is gyors: egy 8192 tokenes prompt 5705 tok/s-mal ment be, ez körülbelül 1,4 másodperc az első tokenig. Ezek referenciafuttatások, nem ígéret az Ön promptjaira. Egy ma elindított előbeállítás újabb vLLM-buildet futtathat, a hosszú ágens-promptok pedig tovább tartanak, mint a rövid benchmark-promptok.

Mely ágensek működnek az előbeállítással változtatás nélkül

A kódoló ágensek kétféleképpen beszélnek egy modellel, és ez dönti el, melyik beállításra van szüksége. Az előbeállítás a vLLM-et csak kontextuskorláttal és memóriakorláttal indítja (--max-model-len 32768 --gpu-memory-utilization 0.5). Nem adja át az --enable-auto-tool-choice kapcsolót, a vLLM pedig elutasítja az automatikus eszközhívást kérő kéréseket, hacsak a szervert nem ezzel a kapcsolóval és egy tool-call parserrel indították.

1. beállítás: az előbeállítás aiderrel

  1. A konzolban töltsön fel kreditet, válassza a DGX Spark 1×-et és a Qwen3 Coder 30B lemezképet, majd indítsa el a példányt. A számlázás akkor indul, amikor a példány átmegy a készenléti ellenőrzésen, és running állapotot mutat.
  2. Hozzon létre a konzolban inference jogosultságú API-kulcsot, és másolja ki a HTTPS-végpontot a példány oldaláról.
  3. A laptopján ellenőrizze, hogy a végpont válaszol-e. A válasz tartalmazza a qwen3-coder-30b nevet.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Ezután indítsa el az aidert a tárolójában. Az openai/ előtag megmondja az aidernek, milyen API-formátumot használjon; OpenAI-szolgáltatás nem vesz részt benne.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

A Continue és a Cline beállításai ugyanehhez a végponthoz itt találhatók: kódoló ágensek a saját végpontjával.

2. beállítás: pi vagy OpenCode, eszközhívásokkal

Indítsa inkább a DGX OS lemezképet. Fordítsa le a llama.cpp-t a GB10-re, és indítsa a Qwen3 Codert a --jinja kapcsolóval, amely a modell saját csevegősablonját alkalmazza, és OpenAI-formátumban adja vissza az eszközhívásait. Ezek a llama.cpp útmutatóm fordítási lépései, a böngészős terminálban futtatva:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

A szerver csak a 127.0.0.1-en figyel, ezért a laptopjáról SSH-alagúton érje el. Ehhez a saját SSH-kulcsára van szükség a példányon (két perc). A llama.cpp karbantartói ennél a modellnél Q8_0-n 61,1 tok/s-ot jelentenek DGX Sparkon (DGX Spark-eredmények, 7941-es build); ezt az utat magam nem mértem.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

Az OpenCode (npm install -g opencode-ai) a projektjében lévő opencode.json fájlból olvassa a szolgáltatókat:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

A pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) a ~/.pi/agent/models.json fájlt olvassa. A contextWindow értéket tartsa a szerver -c értékén vagy alatta, különben a pi túltölti a kontextust, és a szerver elutasítja a kérést.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Ezután a tárolójában futtassa a pi --model qwen3-coder parancsot. A szerver tovább fut, amikor az ágens kilép; a nap végén szüntesse meg a példányt a konzolban.

Mit ad egy óra egy API-számlához képest

Egy Spark ára 0,79 USD óránként, percalapú számlázással: egy nyolcórás nap 6,32 USD, 21 ilyen nap 132,72 USD. Hogy mit kap érte, az attól függ, mennyire tartja elfoglalva. A fenti mért sebességekből számolva:

Tegye ezeket a saját API-számlája mellé. Egyetlen fejlesztőnek, akinek a programozási előfizetése sosem éri el a korlátait, valószínűleg az előfizetés olcsóbb. A Spark akkor éri meg, ha többen osztoznak egy végponton, ha a sebességkorlátok megállítják a hosszú ágensfuttatásokat, vagy ha a kódja nem kerülhet egy modellszolgáltatóhoz.

Korlátok, amelyeket előre érdemes tudni

Hol vannak a Sparkok

A saját Sparkjaim egy Hradec Králové-i adatközpontban vannak, Csehországban. A partner-Sparkokat partnerek birtokolják és üzemeltetik saját telephelyükön az USA-ban, Svédországban, Hollandiában, Szlovákiában és Hongkongban. A konzol az indítás előtt mutatja az országot, és hogy az EGT-n belül van-e. A partnernek fizikai hozzáférése van a gépéhez, és egy EGT-n kívüli gép azt jelenti, hogy az adatai elhagyják az EU-t/EGT-t, ezért a kódjának megfelelő helyszínt válassza.

Ár

0,79 USD óránként egy Sparkért, percalapú számlázással az előre fizetett kreditből. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. A leállított példány megtartja a munkaterületét, és az óradíj 75%-ával számlázzuk. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér; ez törli a munkaterületet. Az árak adott esetben ÁFA nélkül értendők. A részletek az árak oldalán találhatók.

Ki üzemelteti ezt

A GPUwerk új, ezért íme, kinek fizetne. Samuel Seidel vagyok, az alapító, a cég pedig a prágai bejegyzésű PRINT IT! SE. 2026 szeptembere óta 94 fejlesztő 374 példányt indított (2026. november 9-i állapot). A szolgáltatás állapota nyilvános a status.gpuwerk.com oldalon. Kérdése van a kezdés előtt? Írjon a kapcsolati oldalon; magam válaszolok.

GYIK

Használhatom a pi-t vagy az OpenCode-ot a Qwen3 Coder 30B előbeállítással?

Így, ahogy van, nem. Mindkettő OpenAI-eszközhívásokat küld, az előbeállítás pedig --enable-auto-tool-choice nélkül indítja a vLLM-et, így a vLLM elutasítja ezeket a kéréseket. Indítsa inkább a DGX OS lemezképet, és szolgálja ki a modellt llama.cpp-vel és --jinja kapcsolóval, ahogy az oldal 2. beállításában. Az aider és a Continue csevegő módja változatlan előbeállítással is működik.

Milyen gyors a Qwen3 Coder 30B egy DGX Sparkon?

Az egyik Sparkomon egyetlen kérésre másodpercenként 80,9 tokent generált, 8 egyidejű kérésnél kérésenként 35,2-t (vLLM 0.27.1, AWQ 4 bites, 2026. szeptember 2.). A nyers napló linkje ezen az oldalon található. A llama.cpp karbantartói Q8_0-n 61,1 tok/s-ot jelentenek.

Mennyibe kerül egy kódoló ágens egy Sparkon?

0,79 USD óránként, percalapú számlázással az előre fizetett kreditből, bármit is küld az ágens: egy nyolcórás nap 6,32 USD. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. A leállított példányt az óradíj 75%-ával számlázzuk; a megszüntetés lezárja a számlázást és törli a munkaterületet. Az árak adott esetben ÁFA nélkül értendők.

Eljut a kódom egy modellszolgáltatóhoz?

Nincs benne harmadik féltől származó modell-API: a modell az Ön által bérelt Sparkon fut, amelyet senki más nem használ, amíg az Öné. Az előbeállítás HTTPS-végpontjára érkező kérések a GPUwerk átjáróján és a példánytól függően a Cloudflare-en haladnak át. Egy saját maga által indított szerverhez vezető SSH-alagút mindkettőt elkerüli. Egy partner-Sparkon a partnernek fizikai hozzáférése van a géphez.

Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet

Irányítsa az ágensét egy saját Sparkra.

Dedikált DGX Spark kiszolgálásra kész Qwen3 Coder 30B-vel, 0,79 USD/óra percalapú számlázással. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér.

Indítás most