Un agente di coding privato sulla tua DGX Spark
Noleggia un'intera NVIDIA DGX Spark, avvia l'immagine Qwen3 Coder 30B e collega il tuo agente di coding all'endpoint compatibile OpenAI che serve. Nessun altro usa la macchina mentre ce l'hai tu, e un'ora costa 0 $,79 indipendentemente da quanti token invia il tuo agente. Su una delle mie Spark questo modello ha generato 80,9 token al secondo per una singola richiesta (vLLM, 2 settembre 2026, log grezzo).
Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Fatturazione al minuto dal credito prepagato. Termina quando hai finito e la fatturazione si ferma. Nella console, scegli DGX Spark 1× e poi l'immagine Qwen3 Coder 30B.
Cosa c'è sulla macchina
| Hardware | Una NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB di memoria unificata a 273 GB/s, 1 TB NVMe. L'intera macchina è tua mentre è in esecuzione. |
|---|---|
| Modello | Qwen3-Coder-30B-A3B-Instruct in AWQ a 4 bit, un modello mixture-of-experts che legge circa 3B dei suoi 30B parametri per token. I pesi sono già sulla macchina. |
| Server | vLLM, che serve il modello come qwen3-coder-30b con un contesto di 32.768 token per richiesta |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, compatibile OpenAI, protetto da una chiave API con scope di inferenza che crei nella console |
| Shell | Un terminale root nel browser, senza chiave SSH, oppure root via SSH con la tua chiave. I file in /workspace sopravvivono ai riavvii. |
| Dove | Questa immagine gira sulle mie Spark a Hradec Králové, in Repubblica Ceca. Le Spark partner offrono le immagini DGX OS e Ubuntu, dove avvii tu il modello (vedi il secondo setup qui sotto). |
Quanto è veloce, misurato
Ho eseguito vllm bench serve su questo modello su una delle mie Spark senza nient'altro sulla GPU, il 2 settembre 2026 (vLLM 0.27.1, AWQ a 4 bit). Il metodo completo e la prova di confronto con il 70B sono nella pagina dei benchmark.
| Richieste contemporanee | Generati per richiesta | Com'è usarla |
|---|---|---|
| 1 | 80,9 tok/s | Uno sviluppatore: le risposte scorrono più velocemente di quanto le leggi |
| 8 | 35,2 tok/s | Un piccolo team che condivide un endpoint |
| 32 | 18,4 tok/s | Molte esecuzioni di agenti in parallelo; ognuna rallenta |
Anche la lettura del prompt è veloce: un prompt di 8.192 token è entrato a 5.705 tok/s, circa 1,4 secondi prima del primo token. Sono prove di riferimento, non una promessa per i tuoi prompt. Un preset che avvii oggi può usare una build di vLLM più recente, e i prompt lunghi degli agenti richiedono più tempo di quelli brevi dei benchmark.
Quali agenti funzionano con il preset così com'è
Gli agenti di coding parlano con un modello in uno di due modi, ed è questo a decidere quale configurazione ti serve. Il preset avvia vLLM solo con un limite di contesto e un limite di memoria (--max-model-len 32768 --gpu-memory-utilization 0.5). Non passa --enable-auto-tool-choice, e vLLM rifiuta le richieste che chiedono tool call automatiche a meno che il server non sia stato avviato con quel flag e un parser per le tool call.
- aider chiede le modifiche come testo e non ha bisogno di tool call, quindi funziona con il preset invariato. Lo stesso vale per la modalità chat e modifica di Continue.
- pi e OpenCode sono basati su tool call, come la modalità agente di Continue. Per loro, servi tu il modello con il tool calling attivato. Richiede circa 15 minuti e funziona su qualsiasi Spark, macchine partner comprese.
Setup 1: il preset con aider
- Nella console, aggiungi credito, scegli DGX Spark 1× e l'immagine Qwen3 Coder 30B, e avvia l'istanza. La fatturazione parte quando l'istanza supera il controllo di disponibilità e mostra running.
- Crea nella console una chiave API con scope di inferenza e copia l'endpoint HTTPS dalla pagina dell'istanza.
- Sul tuo laptop, verifica che l'endpoint risponda. La risposta elenca
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Poi avvia aider nel tuo repository. Il prefisso openai/ dice ad aider quale formato API usare; non è coinvolto alcun servizio OpenAI.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Le impostazioni di Continue e Cline per lo stesso endpoint sono in agenti di coding sul tuo endpoint.
Setup 2: pi o OpenCode, con tool call
Avvia invece l'immagine DGX OS. Compila llama.cpp per il GB10 e avvia Qwen3 Coder con --jinja, che applica il template di chat del modello e restituisce le sue tool call nel formato OpenAI. Questi sono i passaggi di build della mia guida a llama.cpp, eseguiti nel terminale del browser:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Il server ascolta solo su 127.0.0.1, quindi raggiungilo tramite un tunnel SSH dal tuo laptop. Serve la tua chiave SSH sull'istanza (due minuti). I maintainer di llama.cpp riportano 61,1 tok/s per questo modello in Q8_0 su una DGX Spark (risultati DGX Spark, build 7941); non ho misurato questo percorso io stesso.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) legge i provider da opencode.json nel tuo progetto:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) legge ~/.pi/agent/models.json. Tieni contextWindow pari o inferiore al -c del server, altrimenti pi riempie troppo il contesto e il server rifiuta la richiesta.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Poi pi --model qwen3-coder nel tuo repository. Il server resta in esecuzione quando l'agente si chiude; termina l'istanza nella console a fine giornata.
Cosa compri con un'ora, accanto a una fattura API
Una Spark costa 0 $,79 all'ora, fatturati al minuto: 6 $,32 per una giornata di otto ore, 132 $,72 per 21 giornate così. Cosa ottieni in cambio dipende da quanto la tieni occupata. Secondo i miei calcoli dalle velocità misurate sopra:
- Uno sviluppatore, una richiesta alla volta: 80,9 tok/s significano al massimo circa 291.000 token generati all'ora, ovvero 2 $,71 per milione se il modello non si ferma mai. Le sessioni reali si fermano mentre leggi e mentre girano i test, quindi per token costa di più.
- Un team che condivide l'endpoint: con 8 richieste in corso, 8 × 35,2 tok/s fanno circa 1 milione di token generati all'ora, circa 0 $,78 per milione.
- I token del prompt non costano nulla in più. Un agente invia di nuovo i tuoi file e l'intera conversazione a ogni turno, quindi su un'API a token la maggior parte della bolletta è input. Qui il costo è il tempo: prefill a 5.705 tok/s.
Metti questi numeri accanto alla tua fattura API. Per un singolo sviluppatore il cui abbonamento di coding non raggiunge mai i limiti, l'abbonamento probabilmente costa meno. Una Spark conviene quando più persone condividono un endpoint, quando i limiti di frequenza bloccano lunghe esecuzioni di agenti, o quando il tuo codice non deve andare a un fornitore di modelli.
Limiti da conoscere prima
- È un modello aperto di medie dimensioni. Qwen3 Coder 30B qui è veloce perché legge circa 3B parametri per token. Non è un modello di frontiera, e non ho eseguito un benchmark di coding su di esso. Provalo sui tuoi compiti prima di spostarci il lavoro.
- 32.768 token per richiesta con il preset. Un agente che legge molti file ci arriva. Il setup 2 ti permette di scegliere la lunghezza del contesto.
- Il preset gira solo sulle mie Spark. Quando sono tutte noleggiate, la console lo mostra. Le Spark partner usano il setup 2.
- L'endpoint del preset passa per il mio gateway. È HTTPS pubblico, protetto dalla tua chiave API, e a seconda dell'istanza il TLS termina su Cloudflare e sul mio gateway prima che la richiesta raggiunga la Spark (l'API indica quale, come
https_termination). Per codice che non deve passare per nessuno dei due, usa il tunnel SSH del setup 2. - La Spark è ARM64. Il tuo agente gira sul tuo laptop, quindi qui conta poco, ma qualsiasi cosa installi sulla Spark stessa richiede una build aarch64.
- Nessuno SLA e nessun backup. Tieni il tuo codice in git dalla tua parte; la terminazione elimina il workspace.
Dove si trovano le Spark
Le mie Spark sono in un data center a Hradec Králové, in Repubblica Ceca. Le Spark partner sono di proprietà di partner e ospitate presso le loro sedi negli USA, in Svezia, nei Paesi Bassi, in Slovacchia e a Hong Kong. La console mostra il paese, e se è nel SEE, prima del deploy. Un partner ha accesso fisico alla sua macchina, e una macchina fuori dal SEE significa che i tuoi dati lasciano l'UE/SEE, quindi scegli l'ubicazione adatta al tuo codice.
Prezzo
0 $,79 all'ora per una Spark, fatturati al minuto dal credito prepagato. Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Un'istanza arrestata mantiene il suo workspace ed è fatturata al 75% della tariffa oraria. Terminala quando hai finito e la fatturazione si ferma; il workspace viene eliminato. Prezzi IVA esclusa, ove applicabile. I dettagli sono nella pagina dei prezzi.
Chi gestisce tutto questo
GPUwerk è nuova, quindi ecco chi pagheresti. Sono Samuel Seidel, il fondatore, e la società è PRINT IT! SE, registrata a Praga. Da settembre 2026, 94 sviluppatori hanno avviato 374 istanze (al 9 novembre 2026). Lo stato del servizio è pubblico su status.gpuwerk.com. Domande prima di iniziare? Scrivi tramite la pagina dei contatti; rispondo io.
FAQ
Posso usare pi o OpenCode con il preset Qwen3 Coder 30B?
Non così com'è. Entrambi inviano tool call OpenAI, e il preset avvia vLLM senza --enable-auto-tool-choice, quindi vLLM rifiuta quelle richieste. Avvia invece l'immagine DGX OS e servi il modello con llama.cpp e --jinja, come nel setup 2 di questa pagina. aider e la modalità chat di Continue funzionano con il preset invariato.
Quanto è veloce Qwen3 Coder 30B su una DGX Spark?
Su una delle mie Spark ha generato 80,9 token al secondo per una singola richiesta, e 35,2 per richiesta con 8 richieste contemporanee (vLLM 0.27.1, AWQ a 4 bit, 2 settembre 2026). Il log grezzo è collegato in questa pagina. I maintainer di llama.cpp riportano 61,1 tok/s in Q8_0.
Quanto costa un agente di coding su una Spark?
0 $,79 all'ora, fatturati al minuto dal credito prepagato, qualunque cosa invii l'agente: 6 $,32 per una giornata di otto ore. Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Un'istanza arrestata è fatturata al 75% della tariffa oraria; la terminazione ferma la fatturazione ed elimina il workspace. Prezzi IVA esclusa, ove applicabile.
Il mio codice va a un fornitore di modelli?
Non è coinvolta alcuna API di modelli di terze parti: il modello gira sulla Spark che noleggi, che nessun altro usa mentre ce l'hai tu. Le richieste all'endpoint HTTPS del preset passano per il gateway di GPUwerk e, a seconda dell'istanza, per Cloudflare. Un tunnel SSH verso un server che avvii tu evita entrambi. Su una Spark partner, il partner ha accesso fisico alla macchina.