DGX Spark/Agenți de programare
Caz de utilizare · Agenți de programare

Un agent de programare privat pe propriul DGX Spark

De Samuel Seidel · Actualizat pe 10 noiembrie 2026 · 8 min de citit

Închiriați un NVIDIA DGX Spark întreg, porniți imaginea Qwen3 Coder 30B și conectați agentul de programare la endpointul compatibil OpenAI pe care îl servește. Nimeni altcineva nu folosește mașina cât timp este a dvs., iar o oră costă 0,79 $, indiferent câți tokeni trimite agentul. Pe unul dintre Spark-urile mele, acest model a generat 80,9 tokeni pe secundă pentru o singură cerere (vLLM, 2 septembrie 2026, log brut).

Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Facturat pe minut din credit preplătit. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește. În consolă, alegeți DGX Spark 1× și apoi imaginea Qwen3 Coder 30B.

Ce se află pe mașină

HardwareUn NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB de memorie unificată la 273 GB/s, 1 TB NVMe. Întreaga mașină este a dvs. cât timp rulează.
ModelQwen3-Coder-30B-A3B-Instruct în AWQ pe 4 biți, un model mixture-of-experts care citește aproximativ 3B din cei 30B parametri per token. Ponderile sunt deja pe mașină.
ServervLLM, care servește modelul ca qwen3-coder-30b cu un context de 32.768 de tokeni per cerere
Endpointhttps://app-<instance-id>.gpuwerk.com/v1, compatibil OpenAI, protejat de o cheie API cu permisiunea de inferență, pe care o creați în consolă
ShellUn terminal root în browser, fără cheie SSH, sau root prin SSH cu propria cheie. Fișierele din /workspace rezistă la reporniri.
UndeAceastă imagine rulează pe Spark-urile mele din Hradec Králové, Republica Cehă. Spark-urile partenerilor oferă imaginile DGX OS și Ubuntu, pe care porniți singur modelul (vedeți a doua configurație de mai jos).

Cât de rapid este, măsurat

Am rulat vllm bench serve pe acest model pe unul dintre Spark-urile mele, fără nimic altceva pe GPU, pe 2 septembrie 2026 (vLLM 0.27.1, AWQ pe 4 biți). Metoda completă și rularea comparativă cu 70B sunt pe pagina de benchmark-uri.

Cereri simultaneGenerat per cerereCum se simte în practică
180,9 tok/sUn dezvoltator: răspunsurile curg mai repede decât le citiți
835,2 tok/sO echipă mică ce partajează un endpoint
3218,4 tok/sMulte rulări de agenți în paralel; fiecare încetinește

Și citirea promptului este rapidă: un prompt de 8.192 de tokeni a intrat la 5.705 tok/s, aproximativ 1,4 secunde până la primul token. Acestea sunt rulări de referință, nu o promisiune pentru prompturile dvs. O presetare pe care o lansați azi poate rula un build vLLM mai nou, iar prompturile lungi ale agenților durează mai mult decât cele scurte de benchmark.

Ce agenți funcționează cu presetarea așa cum este

Agenții de programare comunică cu un model în unul din două moduri, iar asta decide ce configurație vă trebuie. Presetarea pornește vLLM doar cu o limită de context și o limită de memorie (--max-model-len 32768 --gpu-memory-utilization 0.5). Nu transmite --enable-auto-tool-choice, iar vLLM refuză cererile care solicită apeluri automate de instrumente dacă serverul nu a fost pornit cu acel flag și un parser de apeluri de instrumente.

Configurația 1: presetarea cu aider

  1. În consolă, adăugați credit, alegeți DGX Spark 1× și imaginea Qwen3 Coder 30B și lansați. Facturarea începe după ce instanța trece verificarea de disponibilitate și afișează running.
  2. Creați în consolă o cheie API cu permisiunea de inferență și copiați endpointul HTTPS de pe pagina instanței.
  3. Pe laptop, verificați că endpointul răspunde. Răspunsul listează qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1
export GPUWERK_API_KEY=sy_key_...        # inference scope
curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"

Apoi porniți aider în repository-ul dvs. Prefixul openai/ îi spune lui aider ce format de API să folosească; nu este implicat niciun serviciu OpenAI.

export OPENAI_API_BASE=$SPARK
export OPENAI_API_KEY=$GPUWERK_API_KEY
aider --model openai/qwen3-coder-30b

Setările Continue și Cline pentru același endpoint sunt în agenți de programare cu propriul endpoint.

Configurația 2: pi sau OpenCode, cu apeluri de instrumente

Lansați în locul ei imaginea DGX OS. Construiți llama.cpp pentru GB10 și porniți Qwen3 Coder cu --jinja, care aplică șablonul de chat propriu al modelului și returnează apelurile de instrumente în format OpenAI. Aceștia sunt pașii de build din ghidul meu llama.cpp, rulați în terminalul din browser:

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# about 32 GB of weights on the first start
./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \
  --alias qwen3-coder --jinja -c 65536 \
  --host 127.0.0.1 --port 30000

Serverul ascultă doar pe 127.0.0.1, așa că îl accesați printr-un tunel SSH de pe laptop. Pentru asta aveți nevoie de propria cheie SSH pe instanță (două minute). Mentenanții llama.cpp raportează 61,1 tok/s pentru acest model la Q8_0 pe un DGX Spark (rezultatele DGX Spark, build 7941); nu am măsurat singur această cale.

# on your laptop, leave it running
ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com

OpenCode (npm install -g opencode-ai) citește furnizorii din opencode.json din proiectul dvs.:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "spark": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "DGX Spark",
      "options": { "baseURL": "http://127.0.0.1:30000/v1" },
      "models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
    }
  }
}

pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) citește ~/.pi/agent/models.json. Păstrați contextWindow la sau sub valoarea -c a serverului, altfel pi umple contextul peste limită și serverul respinge cererea.

{
  "providers": {
    "spark": {
      "baseUrl": "http://127.0.0.1:30000/v1",
      "api": "openai-completions",
      "apiKey": "unused",
      "compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
      "models": [
        { "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
          "reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
      ]
    }
  }
}

Apoi pi --model qwen3-coder în repository-ul dvs. Serverul continuă să ruleze când agentul se închide; terminați instanța din consolă la sfârșitul zilei.

Ce cumpără o oră, comparat cu o factură API

Un Spark costă 0,79 $ pe oră, facturat pe minut: 6,32 $ pentru o zi de opt ore, 132,72 $ pentru 21 de astfel de zile. Ce obțineți pentru acești bani depinde de cât de ocupat îl țineți. După calculele mele, pe baza vitezelor măsurate mai sus:

Puneți-le alături de propria factură API. Pentru un singur dezvoltator al cărui abonament de programare nu atinge niciodată limitele, abonamentul este probabil mai ieftin. Un Spark se justifică atunci când mai multe persoane partajează un endpoint, când limitele de rată opresc rulările lungi ale agenților sau când codul dvs. nu ar trebui să ajungă la un furnizor de modele.

Limite de știut dinainte

Unde se află Spark-urile

Spark-urile mele sunt într-un centru de date din Hradec Králové, Republica Cehă. Spark-urile partenerilor sunt deținute și găzduite de parteneri la propriile sedii, în SUA, Suedia, Țările de Jos, Slovacia și Hong Kong. Consola arată țara și dacă este în SEE înainte să lansați. Un partener are acces fizic la mașina lui, iar o mașină din afara SEE înseamnă că datele dvs. părăsesc UE/SEE, așa că alegeți locația potrivită pentru codul dvs.

Preț

0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită își păstrează spațiul de lucru și se facturează cu 75% din tariful orar. Terminați-o când nu mai aveți nevoie de ea, iar facturarea se oprește; asta șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică. Detaliile sunt pe pagina de prețuri.

Cine conduce asta

GPUwerk este nou, așa că iată cui ați plăti. Sunt Samuel Seidel, fondatorul, iar firma este PRINT IT! SE, înregistrată la Praga. Din septembrie 2026, 94 de dezvoltatori au pornit 374 de instanțe (la 9 noiembrie 2026). Starea serviciului este publică pe status.gpuwerk.com. Aveți întrebări înainte de a începe? Scrieți prin pagina de contact; răspund personal.

Întrebări frecvente

Pot folosi pi sau OpenCode cu presetarea Qwen3 Coder 30B?

Nu în forma actuală. Ambele trimit apeluri de instrumente OpenAI, iar presetarea pornește vLLM fără --enable-auto-tool-choice, deci vLLM refuză acele cereri. Lansați în locul ei imaginea DGX OS și serviți modelul cu llama.cpp și --jinja, ca în configurația 2 de pe această pagină. aider și modul chat din Continue funcționează cu presetarea neschimbată.

Cât de rapid este Qwen3 Coder 30B pe un DGX Spark?

Pe unul dintre Spark-urile mele a generat 80,9 tokeni pe secundă pentru o singură cerere și 35,2 per cerere cu 8 cereri simultane (vLLM 0.27.1, AWQ pe 4 biți, 2 septembrie 2026). Logul brut are link pe această pagină. Mentenanții llama.cpp raportează 61,1 tok/s la Q8_0.

Cât costă un agent de programare pe un Spark?

0,79 $ pe oră, facturat pe minut din credit preplătit, indiferent ce trimite agentul: 6,32 $ pentru o zi de opt ore. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită se facturează cu 75% din tariful orar; terminarea încheie facturarea și șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică.

Ajunge codul meu la un furnizor de modele?

Nu este implicat niciun API de model terț: modelul rulează pe Spark-ul pe care îl închiriați și pe care nimeni altcineva nu îl folosește cât timp este al dvs. Cererile către endpointul HTTPS al presetării trec prin gateway-ul GPUwerk și, în funcție de instanță, prin Cloudflare. Un tunel SSH către un server pornit de dvs. le evită pe amândouă. Pe un Spark de partener, partenerul are acces fizic la mașină.

Prima reîncărcare: plătiți 20 $, primiți 30 $ credit

Conectați-vă agentul la propriul Spark.

Un DGX Spark dedicat cu Qwen3 Coder 30B gata de servire, 0,79 $/h facturat pe minut. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.

Lansați acum