GPU-cloud
H100 SXM, dedikeret.
En enkelt NVIDIA H100 SXM-GPU, 80 GB HBM3 ved 3,35 TB/s på Hopper-arkitekturen, på en x86-host. 2 $,69 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.
Udlejes efter først-til-mølle: udrul en H100, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.
Specifikationer
Pr. node. Hver GPUwerk-instans, på ethvert niveau, er én hel maskine for dig selv.
| GPU | H100 SXM5, Hopper-arkitektur |
|---|---|
| Hukommelse | 80 GB HBM3 |
| Hukommelsesbåndbredde | 3,35 TB/s |
| CUDA-kerner | 16.896 |
| Maks. effekt | Op til 700 W |
| MIG | Op til 7 instanser på 10 GB |
| Host | x86-vært |
| Lejemodel | Én kunde pr. maskine, aldrig delt |
GPU-tal fra NVIDIA H100 og whitepaperet om H100-arkitekturen. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.
Hvad ville du køre på den?
HBM3 ved 3,35 TB/s, til gennemløb snarere end kapacitet.
Serving med højt gennemløb
Batchet inferens for mange samtidige brugere, hvor HBM-båndbredden bestemmer antallet af tokens i sekundet.
Træning og finjustering
Fulde finjusteringer og træningskørsler af modeller, der passer i 80 GB, med FP8 på Transformer Engine.
Modeller op til cirka 70B ved FP8
Vægtene til en 70B-model passer, men der er kun lidt hukommelse tilbage til KV-cachen.
Passer dårligt: indbygget FP4 og de største modeller
Hopper har ingen FP4, og en model større end cirka 70B ved FP8 kræver en H200, en Blackwell-GPU eller flere GPU'er.
Brug for flere GPU'er forbundet med NVLink? Se 8× H100-serveren.
Hvad passer i 80 GB
Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.
| Præcision | Pr. parameter | Største model, kun vægte |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 40B parametre |
| FP8 | 1 byte | cirka 80B parametre |
| 4-bit kvantiseret | 0,5 byte | cirka 160B parametre (ingen indbygget FP4 på Hopper; runtime dekvantiserer) |
Fakturering
| Pris | 2 $,69 i timen, faktureret pr. minut |
|---|---|
| Fakturering | Pr. minut fra en forudbetalt kreditsaldo |
| Gebyrer | Ingen gebyrer for udgående trafik |
| Binding | Ingen |
Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.
FAQ
Kan jeg leje en H100 nu?
Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.
Hvordan fungerer faktureringen på dette niveau?
Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.
Brug for GPU-tid i dag?
En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Se, hvordan en DGX Spark klarer sig, eller skriv dig på ventelisten til H100.