GPU-moln
H100 SXM, dedikerad.
En enskild NVIDIA H100 SXM-GPU, 80 GB HBM3 med 3,35 TB/s på Hopper-arkitekturen, på en x86-värd. 2,69 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.
Hyrs ut efter principen först till kvarn: driftsätt en H100 när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.
Specifikationer
Per nod. Varje instans hos GPUwerk, på vilken nivå som helst, är en hel maskin för dig själv.
| GPU | H100 SXM5, Hopper-arkitektur |
|---|---|
| Minne | 80 GB HBM3 |
| Minnesbandbredd | 3,35 TB/s |
| CUDA-kärnor | 16 896 |
| Max effekt | Upp till 700 W |
| MIG | Upp till 7 instanser på 10 GB |
| Värd | x86-värd |
| Hyresform | En kund per maskin, aldrig delad |
GPU-siffror från NVIDIA H100 och whitepapret om H100-arkitekturen. GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.
Vad skulle du köra på den?
HBM3 med 3,35 TB/s, för genomströmning snarare än kapacitet.
Inferens med hög genomströmning
Batchad inferens för många samtidiga användare, där HBM-bandbredden avgör tokens per sekund.
Träning och finjustering
Fullständiga finjusteringar och träningskörningar av modeller som får plats i 80 GB, med FP8 på Transformer Engine.
Modeller upp till cirka 70B i FP8
En 70B-modells vikter får plats, men lite minne blir kvar för KV-cachen.
Passar dåligt: inbyggd FP4 och de största modellerna
Hopper har ingen FP4, och en modell större än cirka 70B i FP8 behöver en H200, en Blackwell-GPU eller flera GPU:er.
Behöver du flera GPU:er länkade med NVLink? Se 8× H100-servern.
Vad som får plats i 80 GB
Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.
| Precision | Per parameter | Största modellen, bara vikter |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 40B parametrar |
| FP8 | 1 byte | cirka 80B parametrar |
| 4-bitars kvantiserad | 0,5 byte | cirka 160B parametrar (ingen inbyggd FP4 på Hopper; körmiljön avkvantiserar) |
Fakturering
| Pris | 2,69 USD per timme, debiteras per minut |
|---|---|
| Fakturering | Per minut, mot ett förbetalt kreditsaldo |
| Avgifter | Inga avgifter för utgående trafik |
| Bindning | Inga |
Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.
Vanliga frågor
Kan jag hyra en H100 nu?
Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.
Hur fungerar faktureringen på den här nivån?
Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.
Behöver du GPU-tid i dag?
En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Se hur en DGX Spark står sig, eller ställ dig på väntelistan för H100.