Prywatny agent do kodowania na twoim własnym DGX Spark
Wynajmij cały NVIDIA DGX Spark, uruchom obraz Qwen3 Coder 30B i skieruj swojego agenta do kodowania na endpoint zgodny z OpenAI, który serwuje. Nikt inny nie korzysta z maszyny, dopóki ją masz, a godzina kosztuje 0,79 USD niezależnie od tego, ile tokenów wysyła twój agent. Na jednym z moich Sparków ten model generował 80,9 tokena na sekundę dla pojedynczego żądania (vLLM, 2 września 2026, surowy log).
Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Rozliczane co minutę ze środków przedpłaconych. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy. W konsoli wybierz DGX Spark 1×, a potem obraz Qwen3 Coder 30B.
Co jest na maszynie
| Sprzęt | Jeden NVIDIA DGX Spark: GB10 Grace Blackwell, 128 GB pamięci zunifikowanej przy 273 GB/s, 1 TB NVMe. Cała maszyna jest twoja, dopóki działa. |
|---|---|
| Model | Qwen3-Coder-30B-A3B-Instruct w AWQ 4-bit, model mixture-of-experts, który na token odczytuje około 3B ze swoich 30B parametrów. Wagi są już na maszynie. |
| Serwer | vLLM, serwujący model jako qwen3-coder-30b z kontekstem 32 768 tokenów na żądanie |
| Endpoint | https://app-<instance-id>.gpuwerk.com/v1, zgodny z OpenAI, chroniony kluczem API z zakresem inference, który tworzysz w konsoli |
| Powłoka | Terminal roota w przeglądarce bez klucza SSH albo root przez SSH z własnym kluczem. Pliki w /workspace przetrwają restarty. |
| Gdzie | Ten obraz działa na moich własnych Sparkach w Hradec Králové w Czechach. Sparki partnerów oferują obrazy DGX OS i Ubuntu, na których model uruchamiasz sam (zobacz drugą konfigurację poniżej). |
Jak szybki jest, według pomiarów
Uruchomiłem vllm bench serve dla tego modelu na jednym z moich Sparków, bez niczego innego na GPU, 2 września 2026 (vLLM 0.27.1, AWQ 4-bit). Pełna metoda i porównawczy pomiar modelu 70B są na stronie z benchmarkami.
| Jednoczesne żądania | Generowane na żądanie | Jak to wygląda w praktyce |
|---|---|---|
| 1 | 80,9 tok/s | Jeden deweloper: odpowiedzi pojawiają się szybciej, niż je czytasz |
| 8 | 35,2 tok/s | Mały zespół korzystający z jednego endpointu |
| 32 | 18,4 tok/s | Wiele równoległych uruchomień agentów; każde zwalnia |
Odczyt promptu też jest szybki: prompt o długości 8192 tokenów został przetworzony z prędkością 5705 tok/s, czyli około 1,4 sekundy przed pierwszym tokenem. To pomiary referencyjne, a nie obietnica dla twoich promptów. Preset, który wdrożysz dziś, może korzystać z nowszej wersji vLLM, a długie prompty agentów przetwarzają się dłużej niż krótkie prompty benchmarkowe.
Którzy agenci działają z presetem bez zmian
Agenci do kodowania komunikują się z modelem na jeden z dwóch sposobów, a to decyduje o tym, jakiej konfiguracji potrzebujesz. Preset uruchamia vLLM wyłącznie z limitem kontekstu i limitem pamięci (--max-model-len 32768 --gpu-memory-utilization 0.5). Nie przekazuje --enable-auto-tool-choice, a vLLM odrzuca żądania o automatyczne wywołania narzędzi, chyba że serwer został uruchomiony z tą flagą i parserem wywołań narzędzi.
- aider prosi o zmiany w formie tekstu i nie potrzebuje wywołań narzędzi, więc działa z presetem bez zmian. Tak samo tryb czatu i edycji w Continue.
- pi i OpenCode opierają się na wywołaniach narzędzi, podobnie jak tryb agenta w Continue. Dla nich serwuj model samodzielnie, z włączonym wywoływaniem narzędzi. Zajmuje to około 15 minut i działa na każdym Sparku, w tym na maszynach partnerów.
Konfiguracja 1: preset z aider
- W konsoli doładuj środki, wybierz DGX Spark 1× i obraz Qwen3 Coder 30B, a potem wdróż. Rozliczanie zaczyna się, gdy instancja przejdzie test gotowości i pokaże stan running.
- Utwórz w konsoli klucz API z zakresem inference i skopiuj endpoint HTTPS ze strony instancji.
- Na swoim laptopie sprawdź, czy endpoint odpowiada. Odpowiedź wymienia
qwen3-coder-30b.
export SPARK=https://app-<instance-id>.gpuwerk.com/v1 export GPUWERK_API_KEY=sy_key_... # inference scope curl -s $SPARK/models -H "Authorization: Bearer $GPUWERK_API_KEY"
Potem uruchom aider w swoim repozytorium. Prefiks openai/ mówi aiderowi, jakiego formatu API używać; żadna usługa OpenAI nie jest w to zaangażowana.
export OPENAI_API_BASE=$SPARK export OPENAI_API_KEY=$GPUWERK_API_KEY aider --model openai/qwen3-coder-30b
Ustawienia Continue i Cline dla tego samego endpointu są w artykule agenci do kodowania z twoim własnym endpointem.
Konfiguracja 2: pi lub OpenCode z wywołaniami narzędzi
Zamiast tego wdróż obraz DGX OS. Zbuduj llama.cpp dla GB10 i uruchom Qwen3 Coder z --jinja, co stosuje własny szablon czatu modelu i zwraca jego wywołania narzędzi w formacie OpenAI. Oto kroki budowania z mojego poradnika llama.cpp, wykonywane w terminalu w przeglądarce:
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # about 32 GB of weights on the first start ./build/bin/llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q8_0 \ --alias qwen3-coder --jinja -c 65536 \ --host 127.0.0.1 --port 30000
Serwer nasłuchuje tylko na 127.0.0.1, więc łączysz się z nim przez tunel SSH ze swojego laptopa. Wymaga to własnego klucza SSH na instancji (dwie minuty). Opiekunowie llama.cpp raportują dla tego modelu 61,1 tok/s przy Q8_0 na DGX Spark (wyniki dla DGX Spark, build 7941); tej ścieżki sam nie mierzyłem.
# on your laptop, leave it running ssh -N -L 30000:127.0.0.1:30000 root@<instance-name>.gpuwerk.com
OpenCode (npm install -g opencode-ai) czyta dostawców z pliku opencode.json w twoim projekcie:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"spark": {
"npm": "@ai-sdk/openai-compatible",
"name": "DGX Spark",
"options": { "baseURL": "http://127.0.0.1:30000/v1" },
"models": { "qwen3-coder": { "name": "Qwen3 Coder 30B on a Spark" } }
}
}
}
pi (npm install -g --ignore-scripts @earendil-works/pi-coding-agent) czyta ~/.pi/agent/models.json. Utrzymuj contextWindow na poziomie -c serwera lub niżej, inaczej pi przepełni kontekst, a serwer odrzuci żądanie.
{
"providers": {
"spark": {
"baseUrl": "http://127.0.0.1:30000/v1",
"api": "openai-completions",
"apiKey": "unused",
"compat": { "supportsDeveloperRole": false, "maxTokensField": "max_tokens" },
"models": [
{ "id": "qwen3-coder", "name": "Qwen3 Coder 30B (Spark)",
"reasoning": false, "contextWindow": 65536, "maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } }
]
}
}
}
Potem pi --model qwen3-coder w twoim repozytorium. Serwer działa dalej, gdy agent się zamknie; na koniec dnia zakończ instancję w konsoli.
Co daje godzina w porównaniu z rachunkiem za API
Spark kosztuje 0,79 USD za godzinę, rozliczane co minutę: 6,32 USD za ośmiogodzinny dzień, 132,72 USD za 21 takich dni. Co za to dostajesz, zależy od tego, jak bardzo go obciążasz. Według moich obliczeń na podstawie zmierzonych wyżej prędkości:
- Jeden deweloper, jedno żądanie naraz: 80,9 tok/s to maksymalnie około 291 000 wygenerowanych tokenów na godzinę, czyli 2,71 USD za milion, jeśli model nigdy nie robi przerw. Prawdziwe sesje mają przerwy, gdy czytasz i gdy działają testy, więc w przeliczeniu na token wychodzi drożej.
- Zespół korzystający ze wspólnego endpointu: przy 8 równoczesnych żądaniach 8 × 35,2 tok/s to około 1 miliona wygenerowanych tokenów na godzinę, czyli około 0,78 USD za milion.
- Tokeny promptu nic dodatkowo nie kosztują. Agent przy każdej turze wysyła ponownie twoje pliki i całą rozmowę, więc w API rozliczanym za tokeny większość rachunku to wejście. Tutaj kosztem jest czas: prefill z prędkością 5705 tok/s.
Porównaj to z własną fakturą za API. Dla jednego dewelopera, którego subskrypcja na kodowanie nigdy nie dochodzi do limitów, subskrypcja jest prawdopodobnie tańsza. Spark się opłaca, gdy kilka osób korzysta z jednego endpointu, gdy limity żądań przerywają długie sesje agentów albo gdy twój kod nie powinien trafiać do dostawcy modelu.
Ograniczenia, które warto znać
- To średniej wielkości otwarty model. Qwen3 Coder 30B jest tu szybki, bo na token odczytuje około 3B parametrów. To nie jest model z czołówki i nie uruchamiałem na nim benchmarku programistycznego. Wypróbuj go na własnych zadaniach, zanim przeniesiesz na niego pracę.
- 32 768 tokenów na żądanie w presecie. Agent, który czyta wiele plików, osiąga ten limit. Konfiguracja 2 pozwala wybrać długość kontekstu.
- Preset działa tylko na moich własnych Sparkach. Gdy wszystkie są wynajęte, konsola to pokazuje. Sparki partnerów obsługują konfigurację 2.
- Endpoint presetu przechodzi przez moją bramkę. To publiczny HTTPS chroniony twoim kluczem API, a zależnie od instancji TLS kończy się w Cloudflare i na mojej bramce, zanim żądanie dotrze do Sparka (API podaje które, jako
https_termination). Dla kodu, który nie powinien przechodzić przez żadne z nich, użyj tunelu SSH z konfiguracji 2. - Spark to ARM64. Twój agent działa na twoim laptopie, więc tutaj rzadko ma to znaczenie, ale wszystko, co instalujesz na samym Sparku, wymaga buildu aarch64.
- Bez SLA i bez kopii zapasowych. Trzymaj swój kod w git po swojej stronie; zakończenie instancji usuwa obszar roboczy.
Gdzie są Sparki
Moje własne Sparki stoją w centrum danych w Hradec Králové w Czechach. Sparki partnerów należą do partnerów i są przez nich hostowane w ich własnych lokalizacjach w USA, Szwecji, Holandii, na Słowacji i w Hongkongu. Konsola pokazuje kraj i to, czy jest w EOG, zanim wdrożysz. Partner ma fizyczny dostęp do swojej maszyny, a maszyna poza EOG oznacza, że twoje dane opuszczają UE/EOG, więc wybierz lokalizację odpowiednią dla twojego kodu.
Cena
0,79 USD za godzinę za jednego Sparka, rozliczane co minutę ze środków przedpłaconych. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Zatrzymana instancja zachowuje obszar roboczy i jest rozliczana według 75% stawki godzinowej. Zakończ ją, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy; to usuwa obszar roboczy. Ceny nie zawierają VAT, jeśli ma on zastosowanie. Szczegóły są na stronie z cennikiem.
Kto to prowadzi
GPUwerk jest nowy, więc oto komu płacisz. Jestem Samuel Seidel, założyciel, a firma to PRINT IT! SE z siedzibą w Pradze. Od września 2026 94 deweloperów uruchomiło 374 instancje (stan na 9 listopada 2026). Status usługi jest publiczny na status.gpuwerk.com. Masz pytania przed startem? Napisz przez stronę kontaktową; odpowiadam osobiście.
FAQ
Czy mogę używać pi lub OpenCode z presetem Qwen3 Coder 30B?
Nie w obecnej postaci. Oba wysyłają wywołania narzędzi OpenAI, a preset uruchamia vLLM bez --enable-auto-tool-choice, więc vLLM odrzuca te żądania. Zamiast tego wdróż obraz DGX OS i serwuj model przez llama.cpp z --jinja, jak w konfiguracji 2 na tej stronie. aider i tryb czatu Continue działają z presetem bez zmian.
Jak szybki jest Qwen3 Coder 30B na DGX Spark?
Na jednym z moich Sparków generował 80,9 tokena na sekundę dla pojedynczego żądania i 35,2 na żądanie przy 8 żądaniach jednocześnie (vLLM 0.27.1, AWQ 4-bit, 2 września 2026). Surowy log jest podlinkowany na tej stronie. Opiekunowie llama.cpp raportują 61,1 tok/s przy Q8_0.
Ile kosztuje agent do kodowania na Sparku?
0,79 USD za godzinę, rozliczane co minutę ze środków przedpłaconych, niezależnie od tego, co wysyła agent: 6,32 USD za ośmiogodzinny dzień. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Zatrzymana instancja jest rozliczana według 75% stawki godzinowej; zakończenie instancji kończy rozliczanie i usuwa obszar roboczy. Ceny nie zawierają VAT, jeśli ma on zastosowanie.
Czy mój kod trafia do dostawcy modelu?
Nie jest używane żadne zewnętrzne API modelu: model działa na wynajętym przez ciebie Sparku, z którego nikt inny nie korzysta, dopóki go masz. Żądania do endpointu HTTPS presetu przechodzą przez bramkę GPUwerk i, zależnie od instancji, przez Cloudflare. Tunel SSH do serwera, który uruchamiasz sam, omija oba. Na Sparku partnera partner ma fizyczny dostęp do maszyny.