Cloud GPU

H100 SXM, dedicat.

Un singur GPU NVIDIA H100 SXM, 80 GB HBM3 la 3,35 TB/s pe arhitectura Hopper, pe o gazdă x86. 2,69 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.

Închiriat în ordinea sosirii: lansați un H100 când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.

Specificații

Per nod. Fiecare instanță GPUwerk, pe orice nivel, este o mașină întreagă doar pentru dvs.

NVIDIA H100 SXM
GPUH100 SXM5, arhitectura Hopper
Memorie80 GB HBM3
Lățime de bandă a memoriei3,35 TB/s
Nuclee CUDA16.896
Putere maximăPână la 700 W
MIGPână la 7 instanțe de 10 GB
GăzduițiGazdă x86
ÎnchiriereUn singur client per mașină, niciodată partajată

Cifrele GPU de pe NVIDIA H100 și din whitepaper-ul arhitecturii H100. GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.

Ce ați rula pe el?

HBM3 la 3,35 TB/s, pentru debit mai degrabă decât capacitate.

Servire cu debit mare

Inferență în loturi pentru mulți utilizatori simultani, unde lățimea de bandă HBM determină tokenii pe secundă.

Antrenare și fine-tuning

Fine-tuning complet și rulări de antrenare pentru modele care încap în 80 GB, cu FP8 pe Transformer Engine.

Modele de până la aproximativ 70B la FP8

Ponderile unui model de 70B încap, deși rămâne puțină memorie pentru cache-ul KV.

Potrivire slabă: FP4 nativ și cele mai mari modele

Hopper nu are FP4, iar un model mai mare de aproximativ 70B la FP8 are nevoie de un H200, un GPU Blackwell sau mai multe GPU-uri.

Aveți nevoie de mai multe GPU-uri legate prin NVLink? Vedeți serverul 8× H100.

Ce încape în 80 GB

Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.

Cel mai mare model doar după ponderi pe un H100
PreciziePer parametruCel mai mare model, doar ponderile
FP16 / BF162 octețiaproximativ 40B parametri
FP81 octetaproximativ 80B parametri
Cuantizat pe 4 biți0,5 octețiaproximativ 160B parametri (Hopper nu are FP4 nativ; runtime-ul decuantizează)

Facturare

Tarif2,69 $ pe oră, facturat pe minut
FacturarePe minut, din soldul de credit preplătit
ComisioaneFără taxe pentru traficul de ieșire
AngajamentNiciunul

Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.

Întrebări frecvente

Pot închiria acum un H100?

Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.

Cum funcționează facturarea pe acest nivel?

La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.

Aveți nevoie de timp GPU azi?

Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Vedeți cum se compară un DGX Spark sau înscrieți-vă pe lista de așteptare H100.