GPU-cloud
H100 SXM, dedicated.
Eén NVIDIA H100 SXM-GPU, 80 GB HBM3 op 3,35 TB/s op de Hopper-architectuur, op een x86-host. $ 2,69 per uur, per minuut gefactureerd, onder dezelfde voorwaarden als elke andere tier van GPUwerk.
Wie het eerst komt, het eerst maalt: deploy een H100 wanneer er capaciteit vrij is, of zet je in de console op de wachtlijst.
Specificaties
Per node. Elke instance van GPUwerk, op welke tier ook, is één volledige machine voor jezelf.
| GPU | H100 SXM5, Hopper-architectuur |
|---|---|
| Geheugen | 80 GB HBM3 |
| Geheugenbandbreedte | 3,35 TB/s |
| CUDA-cores | 16.896 |
| Max. vermogen | Tot 700 W |
| MIG | Tot 7 instances van 10 GB |
| Host | x86-host |
| Tenancy | Eén klant per machine, nooit gedeeld |
GPU-cijfers van NVIDIA H100 en de whitepaper over de H100-architectuur. GPUwerk publiceert tok/s en trainingsdoorvoer alleen voor runs op eigen hardware. Zie de benchmarks van de DGX Spark-vloot voor hoe die worden gerapporteerd.
Wat zou je erop draaien?
HBM3 op 3,35 TB/s, voor doorvoer in plaats van capaciteit.
Serving met hoge doorvoer
Gebatchte inference voor veel gelijktijdige gebruikers, waarbij de HBM-bandbreedte het aantal tokens per seconde bepaalt.
Training en fine-tuning
Volledige fine-tunes en trainingsruns van modellen die in 80 GB passen, met FP8 op de Transformer Engine.
Modellen tot ongeveer 70B in FP8
De gewichten van een 70B-model passen, maar er blijft weinig geheugen over voor de KV-cache.
Past slecht: native FP4 en de grootste modellen
Hopper heeft geen FP4, en voor een model groter dan ongeveer 70B in FP8 heb je een H200, een Blackwell-GPU of meerdere GPU's nodig.
Meerdere GPU's nodig die via NVLink zijn gekoppeld? Zie de 8× H100-server.
Wat past er in 80 GB
Alleen gewichten: geheugen gedeeld door bytes per parameter. Laat marge voor de KV-cache, activaties en de runtime, vaak 10 tot 30% meer.
| Precisie | Per parameter | Grootste model, alleen gewichten |
|---|---|---|
| FP16 / BF16 | 2 bytes | ongeveer 40B parameters |
| FP8 | 1 byte | ongeveer 80B parameters |
| 4-bit gekwantiseerd | 0,5 byte | ongeveer 160B parameters (geen native FP4 op Hopper; de runtime dekwantiseert) |
Facturering
| Tarief | $ 2,69 per uur, per minuut gefactureerd |
|---|---|
| Facturering | Per minuut, tegen een prepaid saldo aan tegoed |
| Vergoedingen | Geen kosten voor egress |
| Verplichting | Geen |
Prijzen zijn in USD, exclusief toepasselijke belasting. Alle details over facturering, inclusief wat stoppen tegenover beëindigen doet, staan op de prijspagina.
FAQ
Kan ik nu een H100 huren?
Deploy hem vanuit de console wanneer er capaciteit vrij is; zolang dat niet zo is, biedt de console een wachtlijst aan, en mensen in de rij krijgen één voor één een e-mail, de oudste eerst. Capaciteit wordt voor niemand vastgehouden: wie het eerst deployt, krijgt hem.
Hoe werkt de facturering op deze tier?
Hetzelfde als elke tier van GPUwerk: per minuut, tegen een prepaid saldo aan tegoed, in USD, exclusief toepasselijke belasting, zonder kosten voor egress en zonder verplichting.
Vandaag GPU-tijd nodig?
Een DGX Spark heeft 128 GB unified memory en is nu te huur, voor $ 0,79/uur per minuut gefactureerd. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Bekijk hoe een DGX Spark zich verhoudt, of zet je op de wachtlijst voor de H100.