DGX Spark/Duże modele
Zastosowanie · Duże modele

Uruchamiaj modele klasy od 70B do 120B w 128 GB pamięci zunifikowanej

Samuel Seidel · Zaktualizowano 10 listopada 2026 · 7 min czytania

DGX Spark ma 128 GB pamięci współdzielonej przez CPU i GPU, więc modele, które nigdy nie zmieściłyby się na karcie graficznej 24 lub 32 GB, ładują się w całości. Zmieścić się to jednak nie to samo co działać szybko. Pamięć przesyła 273 GB/s, a każdy wygenerowany token odczytuje aktywne wagi modelu jeden raz. Na jednym z moich Sparków gęsty Llama 3.3 70B generował 6,0 tokena na sekundę dla pojedynczego żądania. Model mixture-of-experts odczytuje na token tylko część swoich wag: dla gpt-oss-120b na tym samym chipie raportowane jest 58,7 tok/s. Dobierz model do przepustowości, a potem wynajmij Sparka na tyle godzin, ile potrzebujesz.

Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków, czyli około 37 godzin na jednym Sparku. Rozliczane co minutę ze środków przedpłaconych. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy.

Co się mieści i jak szybko działa jedno żądanie

Model i formatOdczyt na tokenJedno żądanieŹródło
Qwen3-Coder 30B-A3B, AWQ 4-bitokoło 3B parametrów80,9 tok/sMój pomiar, vLLM 0.27.1, 2 września 2026 (surowy log)
gpt-oss-120b, MXFP45,1B ze 117B58,7 tok/sRaportowane: wyniki llama.cpp dla DGX Spark, build 7941, 5 lut 2026
gpt-oss-120b, MXFP45,1B ze 117B33,5 tok/sRaportowane: Dendro Logic, vLLM, prompty po 1500 tokenów i wynik w JSON, 22 kwi 2026
Nemotron-3-Super-120B-A12B, NVFP412B ze 120Bokoło 24 tok/sRaportowane: forum NVIDIA, vLLM z poprawką CUTLASS, 29 mar 2026
Llama 3.3 70B, AWQ 4-bitwszystkie 70B (gęsty)6,0 tok/sMój pomiar, vLLM 0.27.1, 2 września 2026 (surowy log)
Nemotron Super 49B v1.5, NVFP4wszystkie 49B (gęsty)5,79 tok/sRaportowane: Dendro Logic, 22 kwi 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B z 235Bokoło 1,8 tok/s; nie mieści sięRaportowane: forum NVIDIA, llama.cpp, 17 gru 2025

Wiersze „Raportowane” to pomiary innych osób, które zebrałem i sprawdziłem ze źródłami 11 października 2026 na potrzeby strony z benchmarkami; nie powtarzałem ich. Dwa wiersze gpt-oss-120b pokazują, jak bardzo silnik i obciążenie zmieniają wyniki jednego modelu na jednym chipie. Liczby parametrów gpt-oss-120b pochodzą z jego karty modelu, przez kalkulator pamięci.

Dlaczego gęsty 70B jest wolny, a 120B MoE nie

Wygenerowanie tokena oznacza jednokrotne odczytanie aktywnych wag z pamięci, więc pułap to przepustowość pamięci podzielona przez liczbę bajtów odczytywanych na token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Prawdziwe silniki osiągają od około połowy do czterech piątych pułapu. Poniżej około 10 tok/s model w oknie czatu wydaje się wolny, dlatego gęsty 70B na jednym Sparku to model do zadań wsadowych: przy 128 równoczesnych żądaniach mój pomiar 70B osiągnął łącznie 485 tok/s, licząc tokeny promptu i wygenerowane, ale każde żądanie zwolniło do 1,4 tok/s. Pełne krzywe współbieżności są na stronie z benchmarkami.

Co bym uruchomił

Uruchom gpt-oss-120b z llama.cpp

Dla jednego użytkownika naraz szybszym silnikiem na tym chipie jest llama.cpp. Wdróż DGX Spark 1× z obrazem DGX OS, otwórz terminal w przeglądarce, zbuduj llama.cpp dla GB10 (5–10 minut) i uruchom model. Kroki budowania są takie same jak w moim poradniku llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Gdy log poinformuje, że serwer nasłuchuje, zmierz własną szybkość z drugiego terminala. llama-server zwraca czasy przy każdej odpowiedzi:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Pobieranie liczy się do czasu, więc uruchom je najpierw i czytaj, gdy trwa. Aby połączyć się z serwerem z laptopa, użyj tunelu SSH z własnym kluczem albo uruchom go z --host 0.0.0.0 --api-key i długim losowym kluczem: każda instancja ma własny publiczny adres IPv4. Dla kilku użytkowników jednocześnie vLLM lepiej grupuje żądania; poradnik vLLM zawiera rachunek pamięci dla pamięci zunifikowanej.

Ograniczenia, które warto znać

Cena i gdzie są Sparki

0,79 USD za godzinę za jednego Sparka, rozliczane co minutę ze środków przedpłaconych: 6,32 USD za ośmiogodzinny dzień. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Zatrzymana instancja zachowuje obszar roboczy i jest rozliczana według 75% stawki godzinowej. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy; obszar roboczy zostaje wtedy usunięty. Ceny nie zawierają VAT, jeśli ma on zastosowanie.

Moje własne Sparki stoją w centrum danych w Hradec Králové w Czechach. Sparki partnerów, należące do partnerów i hostowane w ich własnych lokalizacjach, są w USA, Szwecji, Holandii, na Słowacji i w Hongkongu; partner ma fizyczny dostęp do swojej maszyny. Konsola pokazuje kraj i to, czy jest w EOG, zanim wdrożysz. Każda lokalizacja oferuje użyte powyżej obrazy DGX OS i Ubuntu.

Kto to prowadzi

GPUwerk jest nowy. Prowadzę go ja, Samuel Seidel, przez PRINT IT! SE, spółkę zarejestrowaną w Pradze. Na dzień 9 listopada 2026 94 deweloperów uruchomiło od września 374 instancje. Bieżący status jest na status.gpuwerk.com, a przez stronę kontaktową dotrzesz bezpośrednio do mnie, jeśli chcesz sprawdzić model przed wynajmem.

FAQ

Czy DGX Spark uruchomi model 70B?

Tak. Llama 3.3 70B w AWQ 4-bit to około 37 GiB wag i mieści się z zapasem, ale na jednym z moich Sparków generował 6,0 tokena na sekundę dla pojedynczego żądania (vLLM 0.27.1, 2 września 2026). Lepiej nadaje się do zadań wsadowych niż do czatu.

Czy gpt-oss-120b mieści się na jednym DGX Spark?

Tak. Jego wagi MXFP4 mają łącznie 65,2 GB, a na token odczytuje około 5,1B parametrów. Opiekunowie llama.cpp raportują 58,7 tok/s dla jednego żądania; Dendro Logic raportuje 33,5 na vLLM z dłuższymi promptami i wynikiem w JSON. Nie mierzyłem go na mojej flocie.

A co z modelami większymi niż 128 GB?

Potrzebują dwóch połączonych Sparków. Build Qwen3-235B-A22B o rozmiarze 134 GB działał z prędkością około 1,8 tok/s na jednym Sparku i około 12,5 na dwóch, według raportu na forum deweloperów NVIDIA. Klaster dwuwęzłowy GPUwerk kosztuje 1,79 USD za godzinę, gdy konsola go oferuje.

Ile kosztuje wypróbowanie dużego modelu?

0,79 USD za godzinę za jednego Sparka, rozliczane co minutę ze środków przedpłaconych; pierwsze pobieranie i kompilacja llama.cpp liczą się do tego czasu. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków, czyli około 37 godzin. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy.

Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków

Załaduj model 120B na własnym Sparku.

Dedykowany DGX Spark ze 128 GB pamięci zunifikowanej, 0,79 USD/h rozliczane co minutę. Zakończ instancję, gdy nie będzie ci już potrzebna, a naliczanie opłat się skończy.

Wdróż teraz