Aġent ta' kodiċi privat fuq id-DGX Spark tiegħek stess
Ikri NVIDIA DGX Spark sħiħ, ibda l-image Qwen3 Coder 30B, u immira l-aġent tal-kodiċi tiegħek lejn l-endpoint kompatibbli ma' OpenAI li jaqdi. Ħadd ieħor ma juża l-magna waqt li tkun tiegħek, u siegħa tiswa $0.79 ikun kemm ikun it-tokens li jibgħat l-aġent tiegħek. Fuq wieħed mis-Sparks tiegħi dan il-mudell iġġenera 80.9 tokens fis-sekonda għal talba waħda (vLLM, 2 ta' Settembru 2026, reġistru mhux ipproċessat).
L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Iffatturat bil-minuta minn kreditu mħallas minn qabel. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf. Fil-console, agħżel DGX Spark 1× u mbagħad l-image Qwen3 Coder 30B.
X'hemm fuq il-magna
| Hardware | NVIDIA DGX Spark wieħed: GB10 Grace Blackwell, 128 GB ta' memorja unifikata b'273 GB/s, 1 TB NVMe. Il-magna kollha hija tiegħek waqt li taħdem. |
|---|---|
| Mudell | Qwen3-Coder-30B-A3B-Instruct f'AWQ 4-bit, mudell mixture-of-experts li jaqra madwar 3B mit-30B parametru tiegħu kull token. Il-piżijiet diġà jinsabu fuq il-magna. |
| Server | vLLM, li jaqdi l-mudell bħala qwen3-coder-30b b'kuntest ta' 32,768 token għal kull talba |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, kompatibbli ma' OpenAI, protett b'key tal-API bl-ambitu tal-inferenza li toħloq inti fil-console |
| Shell | Terminal root fil-browser, ebda ċavetta SSH meħtieġa, jew root permezz ta' SSH biċ-ċavetta tiegħek. Il-fajls taħt /workspace jibqgħu wara r-restarts. |
| Fejn | Dan l-image jaħdem fuq is-Sparks tiegħi stess f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab joffru l-images DGX OS u Ubuntu, fejn tibda l-mudell inti stess (ara t-tieni setup hawn taħt). |
Kemm hu mgħaġġel, imkejjel
Ħaddimt vllm bench serve fuq dan il-mudell fuq wieħed mis-Sparks tiegħi mingħajr xejn ieħor fuq il-GPU tiegħu, fit-2 ta' Settembru 2026 (vLLM 0.27.1, AWQ 4-bit). Il-metodu sħiħ u l-prova ta' tqabbil mal-70B jinsabu fuq il-paġna tal-benchmarks.
| Talbiet f'daqqa | Iġġenerati għal kull talba | Kif tħossu |
|---|---|---|
| 1 | 80.9 tok/s | Żviluppatur wieħed: it-tweġibiet jiġu aktar malajr milli taqrahom |
| 8 | 35.2 tok/s | Tim żgħir li jaqsam endpoint wieħed |
| 32 | 18.4 tok/s | Ħafna provi ta' aġenti f'parallel; kull waħda tbatti |
Il-qari tal-prompt huwa mgħaġġel ukoll: prompt ta' 8,192 token daħal b'5,705 tok/s, madwar 1.4 sekondi qabel l-ewwel token. Dawn huma provi ta' referenza, mhux wegħda għall-prompts tiegħek. Preset li tiddeploja llum jista' jħaddem build ta' vLLM aktar ġdid, u l-prompts twal tal-aġenti jieħdu aktar mill-prompts qosra tal-benchmarks.
Liema aġenti jaħdmu bil-preset kif inhu
L-aġenti tal-kodiċi jitkellmu ma' mudell b'wieħed minn żewġ modi, u dan jiddetermina liema setup teħtieġ. Il-preset jibda vLLM b'limitu tal-kuntest u limitu tal-memorja biss (--max-model-len 32768 --gpu-memory-utilization 0.5). Ma jgħaddix --enable-auto-tool-choice, u vLLM jirrifjuta talbiet li jitolbu tool calls awtomatiċi sakemm is-server ma jkunx inbeda b'dik il-flag u b'parser tat-tool calls.
- aider jitlob l-edits bħala test u ma jeħtieġx tool calls, għalhekk jaħdem bil-preset kif inhu. L-istess jagħmlu l-modalitajiet chat u edit ta' Continue.
- pi u OpenCode huma mibnija fuq it-tool calls, bħalma hija l-modalità aġent ta' Continue. Għalihom, aqdi l-mudell inti stess bit-tool calling mixgħul. Jieħu madwar 15-il minuta, u jaħdem fuq kull Spark, inklużi l-magni tas-sħab.
Setup 1: il-preset ma' aider
- Fil-console, żid kreditu, agħżel DGX Spark 1× u l-image Qwen3 Coder 30B, u ddeploja. Il-fatturazzjoni tibda ladarba l-istanza tgħaddi l-verifika tat-tħejjija u turi running.
- Oħloq key tal-API bl-ambitu tal-inferenza fil-console, u kkopja l-endpoint HTTPS mill-paġna tal-istanza.
- Fuq il-laptop tiegħek, iċċekkja li l-endpoint iwieġeb. It-tweġiba telenka
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Imbagħad ibda aider fir-repożitorju tiegħek. Il-prefiss openai/ jgħid lil aider liema format ta' API għandu jitkellem; ebda servizz ta' OpenAI mhu involut.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Is-settings ta' Continue u Cline għall-istess endpoint jinsabu f'aġenti tal-kodiċi mal-endpoint tiegħek stess.
Setup 2: pi jew OpenCode, bit-tool calls
Minflok iddeploja l-image DGX OS. Ibni llama.cpp għall-GB10 u ibda Qwen3 Coder b'--jinja, li japplika t-template tal-chat tal-mudell innifsu u jagħti lura t-tool calls tiegħu fil-format ta' OpenAI. Dawn huma l-passi tal-bini mill-gwida tal-llama.cpp tiegħi, imħaddma fit-terminal tal-browser:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Is-server jisma' biss fuq 127.0.0.1, għalhekk ilħqu permezz ta' tunnel SSH mil-laptop tiegħek. Dak jeħtieġ iċ-ċavetta SSH tiegħek stess fuq l-istanza (żewġ minuti). Dawk li jżommu llama.cpp jirrappurtaw 61.1 tok/s għal dan il-mudell f'Q8_0 fuq DGX Spark (riżultati tad-DGX Spark, build 7941); jien ma kejjiltx din ir-rotta.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) jaqra l-fornituri minn opencode.json fil-proġett tiegħek:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) jaqra ~/.pi/agent/models.json. Żomm contextWindow daqs jew inqas mill--c tas-server, inkella pi jimla l-kuntest iżżejjed u s-server jirrifjuta t-talba.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Imbagħad pi --model qwen3-coder fir-repożitorju tiegħek. Is-server jibqa' jaħdem meta joħroġ l-aġent; ittermina l-istanza fil-console meta tispiċċa l-ġurnata.
X'tixtri siegħa, ħdejn kont ta' API
Spark jiswa $0.79 fis-siegħa, iffatturat bil-minuta: $6.32 għal ġurnata ta' tmien sigħat, $132.72 għal 21 ġurnata bħal dik. X'tikseb għal dak jiddependi minn kemm iżżommu okkupat. Skont il-kalkoli tiegħi mill-veloċitajiet imkejla hawn fuq:
- Żviluppatur wieħed, talba waħda kull darba: 80.9 tok/s huma mhux aktar minn madwar 291,000 token iġġenerat fis-siegħa, jew $2.71 għal kull miljun jekk il-mudell qatt ma jieqaf. Is-sessjonijiet reali jieqfu waqt li taqra u jaħdmu t-testijiet, għalhekk għal kull token jiswa aktar minn hekk.
- Tim li jaqsam l-endpoint: b'8 talbiet għaddejjin, 8 × 35.2 tok/s huma madwar 1 miljun token iġġenerat fis-siegħa, madwar $0.78 għal kull miljun.
- It-tokens tal-prompt ma jiswew xejn żejjed. Aġent jibgħat il-fajls tiegħek u l-konverżazzjoni kollha mill-ġdid f'kull dawra, għalhekk fuq API bit-token ħafna mill-kont ikun input. Hawn l-ispiża hija l-ħin: prefill b'5,705 tok/s.
Qiegħed dawk ħdejn il-fattura tal-API tiegħek. Għal żviluppatur wieħed li l-abbonament tiegħu għall-kodiċi qatt ma jilħaq il-limiti tiegħu, l-abbonament probabbilment huwa orħos. Spark jaqbel meta diversi nies jaqsmu endpoint wieħed, meta l-limiti tar-rata jwaqqfu ħidmiet twal ta' aġenti, jew meta l-kodiċi tiegħek ma għandux imur għand fornitur ta' mudelli.
Limiti li għandek tkun taf l-ewwel
- Huwa mudell miftuħ ta' daqs medju. Qwen3 Coder 30B huwa mgħaġġel hawn għax jaqra madwar 3B parametru kull token. Mhuwiex mudell tal-ogħla livell, u jien ma ħaddimtx benchmark tal-kodiċi fuqu. Ipprovah fuq ix-xogħlijiet tiegħek stess qabel ma tgħaddilu x-xogħol.
- 32,768 token għal kull talba fuq il-preset. Aġent li jaqra ħafna fajls jilħaq dan. Is-Setup 2 iħallik tagħżel it-tul tal-kuntest.
- Il-preset jaħdem biss fuq is-Sparks tiegħi stess. Meta jkunu kollha mikrija, il-console turih. Is-Sparks tas-sħab iħaddmu s-setup 2.
- L-endpoint tal-preset jgħaddi mill-gateway tiegħi. Huwa HTTPS pubbliku, protett bil-key tal-API tiegħek, u skont l-istanza t-TLS jintemm f'Cloudflare u fil-gateway tiegħi qabel ma t-talba tilħaq l-Spark (l-API tirrapporta liema, bħala
https_termination). Għal kodiċi li ma għandux jgħaddi minn ebda wieħed minnhom, uża it-tunnel SSH tas-setup 2. - L-Spark huwa ARM64. L-aġent tiegħek jaħdem fuq il-laptop tiegħek, għalhekk dan rari jgħodd hawn, imma kull ma tinstalla fuq l-Spark innifsu jeħtieġ build aarch64.
- Ebda SLA u ebda backups. Żomm il-kodiċi tiegħek f'git fuq in-naħa tiegħek; it-terminazzjoni tħassar l-ispazju tax-xogħol.
Fejn jinsabu s-Sparks
Is-Sparks tiegħi stess jinsabu f'datacenter f'Hradec Králové, fir-Repubblika Ċeka. Is-Sparks tas-sħab huma proprjetà ta' sħab u ospitati minnhom fil-postijiet tagħhom fl-Istati Uniti, fl-Iżvezja, fil-Pajjiżi l-Baxxi, fis-Slovakkja u f'Hong Kong. Il-console turi l-pajjiż, u jekk hux fiż-ŻEE, qabel ma tiddeploja. Sieħeb għandu aċċess fiżiku għall-magna tiegħu, u magna barra miż-ŻEE tfisser li d-data tiegħek toħroġ mill-UE/ŻEE, għalhekk agħżel il-post li jaqbel mal-kodiċi tiegħek.
Prezz
$0.79 fis-siegħa għal Spark wieħed, iffatturat bil-minuta minn kreditu mħallas minn qabel. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa żżomm l-ispazju tax-xogħol tagħha u tiġi ffatturata b'75% tar-rata kull siegħa. Itterminaha meta tispiċċa u l-fatturazzjoni tieqaf; dan iħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli. Id-dettalji jinsabu fil-paġna tal-prezzijiet.
Min imexxi dan
GPUwerk hija ġdida, għalhekk hawn lil min tkun qed tħallas. Jien Samuel Seidel, il-fundatur, u l-kumpanija hija PRINT IT! SE, irreġistrata fi Praga. Minn Settembru 2026, 94 żviluppatur bdew 374 istanza (sad-9 ta' Novembru 2026). L-istatus tas-servizz huwa pubbliku fuq status.gpuwerk.com. Mistoqsijiet qabel ma tibda? Iktibli mill-paġna tal-kuntatt; inwieġeb jien stess.
Mistoqsijiet frekwenti
Nista' nuża pi jew OpenCode bil-preset Qwen3 Coder 30B?
Mhux kif inhu. It-tnejn jibagħtu tool calls ta' OpenAI, u l-preset jibda vLLM mingħajr --enable-auto-tool-choice, għalhekk vLLM jirrifjuta dawk it-talbiet. Minflok iddeploja l-image DGX OS u aqdi l-mudell b'llama.cpp u --jinja, bħal fis-setup 2 fuq din il-paġna. aider u l-modalità chat ta' Continue jaħdmu bil-preset kif inhu.
Kemm hu mgħaġġel Qwen3 Coder 30B fuq DGX Spark?
Fuq wieħed mis-Sparks tiegħi ġġenera 80.9 tokens fis-sekonda għal talba waħda, u 35.2 għal kull talba b'8 talbiet f'daqqa (vLLM 0.27.1, AWQ 4-bit, 2 ta' Settembru 2026). Ir-reġistru mhux ipproċessat huwa llinkjat f'din il-paġna. Dawk li jżommu llama.cpp jirrappurtaw 61.1 tok/s f'Q8_0.
Kemm jiswa aġent tal-kodiċi fuq Spark?
$0.79 fis-siegħa, iffatturat bil-minuta minn kreditu mħallas minn qabel, irrispettivament minn dak li jibgħat l-aġent: $6.32 għal ġurnata ta' tmien sigħat. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Istanza mwaqqfa tiġi ffatturata b'75% tar-rata kull siegħa; it-terminazzjoni ttemm il-fatturazzjoni u tħassar l-ispazju tax-xogħol. Il-prezzijiet huma eskluża l-VAT fejn applikabbli.
Il-kodiċi tiegħi jmur għand fornitur ta' mudelli?
Ebda API ta' mudell ta' parti terza mhija involuta: il-mudell jaħdem fuq l-Spark li tikri, li ħadd ieħor ma juża waqt li jkun tiegħek. It-talbiet lill-endpoint HTTPS tal-preset jgħaddu mill-gateway ta' GPUwerk u, skont l-istanza, minn Cloudflare. Tunnel SSH lejn server li tibda inti stess tevita t-tnejn. Fuq Spark ta' sieħeb, is-sieħeb għandu aċċess fiżiku għall-magna.