Chmura GPU
H100 SXM, dedykowany.
Pojedyncze GPU NVIDIA H100 SXM, 80 GB HBM3 przy 3,35 TB/s w architekturze Hopper, na hoście x86. 2,69 USD za godzinę, rozliczane co minutę, na tych samych warunkach co każdy inny poziom GPUwerk.
Wynajem według kolejności zgłoszeń: wdróż H100, gdy jest wolny, albo zapisz się w konsoli na jego listę oczekujących.
Specyfikacja
Na węzeł. Każda instancja GPUwerk, na dowolnym poziomie, to jedna cała maszyna tylko dla ciebie.
| GPU | H100 SXM5, architektura Hopper |
|---|---|
| Pamięć | 80 GB HBM3 |
| Przepustowość pamięci | 3,35 TB/s |
| Rdzenie CUDA | 16 896 |
| Maks. moc | Do 700 W |
| MIG | Do 7 instancji po 10 GB |
| Hostuj | Host x86 |
| Najem | Jeden klient na maszynę, nigdy współdzielona |
Dane GPU z NVIDIA H100 i white paper architektury H100. GPUwerk publikuje wyniki tok/s i przepustowości treningu wyłącznie dla pomiarów na własnym sprzęcie. Sposób ich raportowania opisuje strona benchmarki floty DGX Spark.
Co byś na nim uruchomił?
HBM3 przy 3,35 TB/s, z myślą o przepustowości, a nie pojemności.
Serwowanie o wysokiej przepustowości
Inferencja wsadowa dla wielu równoczesnych użytkowników, gdzie liczbę tokenów na sekundę wyznacza przepustowość HBM.
Trening i fine-tuning
Pełny fine-tuning i treningi modeli, które mieszczą się w 80 GB, z FP8 w Transformer Engine.
Modele do około 70B w FP8
Wagi modelu 70B się mieszczą, choć na pamięć podręczną KV zostaje niewiele pamięci.
Słabo się nadaje: natywne FP4 i największe modele
Hopper nie ma FP4, a model większy niż około 70B w FP8 wymaga H200, GPU Blackwell lub kilku GPU.
Potrzebujesz kilku GPU połączonych NVLink? Zobacz serwer 8× H100.
Co mieści się w 80 GB
Same wagi: pamięć podzielona przez bajty na parametr. Zostaw zapas na pamięć podręczną KV, aktywacje i środowisko uruchomieniowe, często o 10–30% więcej.
| Precyzja | Na parametr | Największy model, same wagi |
|---|---|---|
| FP16 / BF16 | 2 bajty | około 40B parametrów |
| FP8 | 1 bajt | około 80B parametrów |
| kwantyzacja 4-bitowa | 0,5 bajta | około 160B parametrów (brak natywnego FP4 w Hopper; środowisko uruchomieniowe dekwantyzuje) |
Rozliczenia
| Stawka | 2,69 USD za godzinę, rozliczane co minutę |
|---|---|
| Rozliczenia | Co minutę, z przedpłaconego salda środków |
| Opłaty | Bez opłat za ruch wychodzący |
| Zobowiązanie | Brak |
Ceny są w USD, bez należnych podatków. Pełne zasady rozliczania, w tym czym różni się zatrzymanie od zakończenia, są na stronie z cennikiem.
FAQ
Czy mogę teraz wynająć H100?
Wdróż go z konsoli, gdy jest dostępny; gdy nie ma wolnych maszyn, konsola oferuje listę oczekujących, a osoby w kolejce dostają e-maile po kolei, od najdłużej czekających. Dostępność nie jest dla nikogo rezerwowana: dostaje ją ten, kto pierwszy wdroży.
Jak działa rozliczanie na tym poziomie?
Tak samo jak każdy poziom GPUwerk: co minutę, z przedpłaconego salda środków, w USD, bez należnych podatków, bez opłat za ruch wychodzący i bez zobowiązań.
Potrzebujesz GPU już dziś?
DGX Spark ma 128 GB pamięci zunifikowanej i można go wynająć już teraz za 0,79 USD/godz., rozliczane co minutę. Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków. Zobacz, jak wypada DGX Spark, albo zapisz się na listę oczekujących na H100.