GPU-sky
H100 SXM, dedikert.
Én NVIDIA H100 SXM-GPU, 80 GB HBM3 på 3,35 TB/s på Hopper-arkitekturen, på en x86-vert. 2 $,69 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en H100 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.
| GPU | H100 SXM5, Hopper-arkitektur |
|---|---|
| Minne | 80 GB HBM3 |
| Minnebåndbredde | 3,35 TB/s |
| CUDA-kjerner | 16 896 |
| Maks effekt | Opptil 700 W |
| MIG | Opptil 7 instanser på 10 GB |
| Vert | x86-vert |
| Leieforhold | Én kunde per maskin, aldri delt |
GPU-tall fra NVIDIA H100 og hvitboken om H100-arkitekturen. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
HBM3 på 3,35 TB/s, for gjennomstrømning heller enn kapasitet.
Inferens med høy gjennomstrømning
Batchet inferens for mange samtidige brukere, der HBM-båndbredden bestemmer tokens per sekund.
Trening og finjustering
Full finjustering og treningskjøringer for modeller som får plass i 80 GB, med FP8 på Transformer Engine.
Modeller opptil omtrent 70B i FP8
Vektene til en 70B-modell får plass, men det blir lite minne igjen til KV-cachen.
Passer dårlig: innebygd FP4 og de største modellene
Hopper har ikke FP4, og en modell større enn omtrent 70B i FP8 trenger en H200, en Blackwell-GPU eller flere GPU-er.
Trenger du flere GPU-er koblet med NVLink? Se 8× H100-serveren.
Hva som får plass i 80 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 40B parametere |
| FP8 | 1 byte | omtrent 80B parametere |
| 4-bits kvantisert | 0,5 byte | omtrent 160B parametere (ingen innebygd FP4 på Hopper; kjøretidsmiljøet dekvantiserer) |
Fakturering
| Pris | 2 $,69 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en H100 nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Se hvordan en DGX Spark står seg, eller sett deg på ventelisten for H100.