Uruchamiaj modele klasy od 70B do 120B w 128 GB pamięci zunifikowanej
DGX Spark ma 128 GB pamięci współdzielonej przez CPU i GPU, więc modele, które nigdy nie zmieściłyby się na karcie graficznej 24 lub 32 GB, ładują się w całości. Zmieścić się to jednak nie to samo co działać szybko. Pamięć przesyła 273 GB/s, a każdy wygenerowany token odczytuje aktywne wagi modelu jeden raz. Na jednym z moich Sparków gęsty Llama 3.3 70B generował 6,0 tokena na sekundę dla pojedynczego żądania. Model mixture-of-experts odczytuje na token tylko część swoich wag: dla gpt-oss-120b na tym samym chipie raportowane jest 58,7 tok/s. Dobierz model do przepustowości, a potem wynajmij Sparka na tyle godzin, ile potrzebujesz.
Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków, czyli około 37 godzin na jednym Sparku. Rozliczane co minutę ze środków przedpłaconych. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy.
Co się mieści i jak szybko działa jedno żądanie
| Model i format | Odczyt na token | Jedno żądanie | Źródło |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | około 3B parametrów | 80,9 tok/s | Mój pomiar, vLLM 0.27.1, 2 września 2026 (surowy log) |
| gpt-oss-120b, MXFP4 | 5,1B ze 117B | 58,7 tok/s | Raportowane: wyniki llama.cpp dla DGX Spark, build 7941, 5 lut 2026 |
| gpt-oss-120b, MXFP4 | 5,1B ze 117B | 33,5 tok/s | Raportowane: Dendro Logic, vLLM, prompty po 1500 tokenów i wynik w JSON, 22 kwi 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B ze 120B | około 24 tok/s | Raportowane: forum NVIDIA, vLLM z poprawką CUTLASS, 29 mar 2026 |
| Llama 3.3 70B, AWQ 4-bit | wszystkie 70B (gęsty) | 6,0 tok/s | Mój pomiar, vLLM 0.27.1, 2 września 2026 (surowy log) |
| Nemotron Super 49B v1.5, NVFP4 | wszystkie 49B (gęsty) | 5,79 tok/s | Raportowane: Dendro Logic, 22 kwi 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B z 235B | około 1,8 tok/s; nie mieści się | Raportowane: forum NVIDIA, llama.cpp, 17 gru 2025 |
Wiersze „Raportowane” to pomiary innych osób, które zebrałem i sprawdziłem ze źródłami 11 października 2026 na potrzeby strony z benchmarkami; nie powtarzałem ich. Dwa wiersze gpt-oss-120b pokazują, jak bardzo silnik i obciążenie zmieniają wyniki jednego modelu na jednym chipie. Liczby parametrów gpt-oss-120b pochodzą z jego karty modelu, przez kalkulator pamięci.
Dlaczego gęsty 70B jest wolny, a 120B MoE nie
Wygenerowanie tokena oznacza jednokrotne odczytanie aktywnych wag z pamięci, więc pułap to przepustowość pamięci podzielona przez liczbę bajtów odczytywanych na token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Prawdziwe silniki osiągają od około połowy do czterech piątych pułapu. Poniżej około 10 tok/s model w oknie czatu wydaje się wolny, dlatego gęsty 70B na jednym Sparku to model do zadań wsadowych: przy 128 równoczesnych żądaniach mój pomiar 70B osiągnął łącznie 485 tok/s, licząc tokeny promptu i wygenerowane, ale każde żądanie zwolniło do 1,4 tok/s. Pełne krzywe współbieżności są na stronie z benchmarkami.
Co bym uruchomił
- Model klasy 120B, z którym możesz rozmawiać: gpt-oss-120b w MXFP4. Wagi mają 65,2 GB, co zostawia miejsce na długi kontekst, a na każdy token odczytuje około 5B parametrów.
- Najpierw szybkość: model mixture-of-experts Qwen3 w 4 bitach, taki jak Qwen3-30B-A3B lub Qwen3.6-35B-A3B. Odczytują około 3B parametrów na token.
- Gęsty model 70B: tylko do zadań wsadowych albo gdy potrzebujesz dokładnie tego modelu. Spodziewaj się około 6 tok/s na żądanie.
- Kwantyzuj do 4 bitów. MXFP4, NVFP4, AWQ lub Q4_K_M zmniejszają o połowę liczbę bajtów na token w porównaniu z FP8 i mniej więcej podwajają pułap. Koszty jakości różnią się w zależności od formatu; poradnik o szybkości kwantyzacji porównuje je na tym chipie.
- Ponad 128 GB: dwa połączone Sparki, za 1,79 USD za godzinę za klaster dwuwęzłowy, gdy konsola go oferuje. Powyższy raport o Qwen3-235B pokazał wzrost z około 1,8 tok/s na jednym Sparku do około 12,5 na dwóch. Poradnik dwóch węzłów opisuje, co daje parowanie.
Uruchom gpt-oss-120b z llama.cpp
Dla jednego użytkownika naraz szybszym silnikiem na tym chipie jest llama.cpp. Wdróż DGX Spark 1× z obrazem DGX OS, otwórz terminal w przeglądarce, zbuduj llama.cpp dla GB10 (5–10 minut) i uruchom model. Kroki budowania są takie same jak w moim poradniku llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Gdy log poinformuje, że serwer nasłuchuje, zmierz własną szybkość z drugiego terminala. llama-server zwraca czasy przy każdej odpowiedzi:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Pobieranie liczy się do czasu, więc uruchom je najpierw i czytaj, gdy trwa. Aby połączyć się z serwerem z laptopa, użyj tunelu SSH z własnym kluczem albo uruchom go z --host 0.0.0.0 --api-key i długim losowym kluczem: każda instancja ma własny publiczny adres IPv4. Dla kilku użytkowników jednocześnie vLLM lepiej grupuje żądania; poradnik vLLM zawiera rachunek pamięci dla pamięci zunifikowanej.
Ograniczenia, które warto znać
- Nie mierzyłem gpt-oss-120b na mojej flocie. Jego liczby powyżej są raportowane, a twoje prompty dadzą inny wynik. Zmierz, zanim zaczniesz planować na podstawie jakiejkolwiek liczby.
- Długie prompty są wolne na dużych gęstych modelach. Mój pomiar modelu 70B czytał prompt o długości 8192 tokenów z prędkością 391 tok/s, czyli około 21 sekund przed pierwszym tokenem.
- Kwantyzacja kosztuje jakość. Model 4-bitowy to nie to samo co model w pełnej precyzji. Sprawdź odpowiedzi na własnych promptach.
- Spark to ARM64 z GPU sm_121. Silniki i pakiety Pythona potrzebują dla niego buildów aarch64, a zwykłe
pip install vllmmoże się poprawnie zainstalować, a potem nie uruchomić; poradnik vLLM wyjaśnia tę pułapkę. - Działa w kontenerze. Na wielu Sparkach ma własny demon Dockera, więc kontenery producentów dla arm64 działają; pozostałe uruchamiają zwykły kontener bez Dockera, gdzie właściwą drogą jest natywny build opisany powyżej. Nie możesz wybrać którego.
- Bez SLA i bez kopii zapasowych. Modele pobrane poza
/workspaceprzepadają przy przebudowie, a zakończenie instancji usuwa wszystko.
Cena i gdzie są Sparki
0,79 USD za godzinę za jednego Sparka, rozliczane co minutę ze środków przedpłaconych: 6,32 USD za ośmiogodzinny dzień. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Zatrzymana instancja zachowuje obszar roboczy i jest rozliczana według 75% stawki godzinowej. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy; obszar roboczy zostaje wtedy usunięty. Ceny nie zawierają VAT, jeśli ma on zastosowanie.
Moje własne Sparki stoją w centrum danych w Hradec Králové w Czechach. Sparki partnerów, należące do partnerów i hostowane w ich własnych lokalizacjach, są w USA, Szwecji, Holandii, na Słowacji i w Hongkongu; partner ma fizyczny dostęp do swojej maszyny. Konsola pokazuje kraj i to, czy jest w EOG, zanim wdrożysz. Każda lokalizacja oferuje użyte powyżej obrazy DGX OS i Ubuntu.
Kto to prowadzi
GPUwerk jest nowy. Prowadzę go ja, Samuel Seidel, przez PRINT IT! SE, spółkę zarejestrowaną w Pradze. Na dzień 9 listopada 2026 94 deweloperów uruchomiło od września 374 instancje. Bieżący status jest na status.gpuwerk.com, a przez stronę kontaktową dotrzesz bezpośrednio do mnie, jeśli chcesz sprawdzić model przed wynajmem.
FAQ
Czy DGX Spark uruchomi model 70B?
Tak. Llama 3.3 70B w AWQ 4-bit to około 37 GiB wag i mieści się z zapasem, ale na jednym z moich Sparków generował 6,0 tokena na sekundę dla pojedynczego żądania (vLLM 0.27.1, 2 września 2026). Lepiej nadaje się do zadań wsadowych niż do czatu.
Czy gpt-oss-120b mieści się na jednym DGX Spark?
Tak. Jego wagi MXFP4 mają łącznie 65,2 GB, a na token odczytuje około 5,1B parametrów. Opiekunowie llama.cpp raportują 58,7 tok/s dla jednego żądania; Dendro Logic raportuje 33,5 na vLLM z dłuższymi promptami i wynikiem w JSON. Nie mierzyłem go na mojej flocie.
A co z modelami większymi niż 128 GB?
Potrzebują dwóch połączonych Sparków. Build Qwen3-235B-A22B o rozmiarze 134 GB działał z prędkością około 1,8 tok/s na jednym Sparku i około 12,5 na dwóch, według raportu na forum deweloperów NVIDIA. Klaster dwuwęzłowy GPUwerk kosztuje 1,79 USD za godzinę, gdy konsola go oferuje.
Ile kosztuje wypróbowanie dużego modelu?
0,79 USD za godzinę za jednego Sparka, rozliczane co minutę ze środków przedpłaconych; pierwsze pobieranie i kompilacja llama.cpp liczą się do tego czasu. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków, czyli około 37 godzin. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy.