Cloud GPU
H100 SXM, dedicat.
Un singur GPU NVIDIA H100 SXM, 80 GB HBM3 la 3,35 TB/s pe arhitectura Hopper, pe o gazdă x86. 2,69 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.
Închiriat în ordinea sosirii: lansați un H100 când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.
Specificații
Per nod. Fiecare instanță GPUwerk, pe orice nivel, este o mașină întreagă doar pentru dvs.
| GPU | H100 SXM5, arhitectura Hopper |
|---|---|
| Memorie | 80 GB HBM3 |
| Lățime de bandă a memoriei | 3,35 TB/s |
| Nuclee CUDA | 16.896 |
| Putere maximă | Până la 700 W |
| MIG | Până la 7 instanțe de 10 GB |
| Găzduiți | Gazdă x86 |
| Închiriere | Un singur client per mașină, niciodată partajată |
Cifrele GPU de pe NVIDIA H100 și din whitepaper-ul arhitecturii H100. GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.
Ce ați rula pe el?
HBM3 la 3,35 TB/s, pentru debit mai degrabă decât capacitate.
Servire cu debit mare
Inferență în loturi pentru mulți utilizatori simultani, unde lățimea de bandă HBM determină tokenii pe secundă.
Antrenare și fine-tuning
Fine-tuning complet și rulări de antrenare pentru modele care încap în 80 GB, cu FP8 pe Transformer Engine.
Modele de până la aproximativ 70B la FP8
Ponderile unui model de 70B încap, deși rămâne puțină memorie pentru cache-ul KV.
Potrivire slabă: FP4 nativ și cele mai mari modele
Hopper nu are FP4, iar un model mai mare de aproximativ 70B la FP8 are nevoie de un H200, un GPU Blackwell sau mai multe GPU-uri.
Aveți nevoie de mai multe GPU-uri legate prin NVLink? Vedeți serverul 8× H100.
Ce încape în 80 GB
Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.
| Precizie | Per parametru | Cel mai mare model, doar ponderile |
|---|---|---|
| FP16 / BF16 | 2 octeți | aproximativ 40B parametri |
| FP8 | 1 octet | aproximativ 80B parametri |
| Cuantizat pe 4 biți | 0,5 octeți | aproximativ 160B parametri (Hopper nu are FP4 nativ; runtime-ul decuantizează) |
Facturare
| Tarif | 2,69 $ pe oră, facturat pe minut |
|---|---|
| Facturare | Pe minut, din soldul de credit preplătit |
| Comisioane | Fără taxe pentru traficul de ieșire |
| Angajament | Niciunul |
Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.
Întrebări frecvente
Pot închiria acum un H100?
Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.
Cum funcționează facturarea pe acest nivel?
La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.
Aveți nevoie de timp GPU azi?
Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Vedeți cum se compară un DGX Spark sau înscrieți-vă pe lista de așteptare H100.