GPU-sky
H200, dedikert.
Én NVIDIA H200-GPU, 141 GB HBM3e på Hopper-arkitekturen, på en x86-vert. 3 $,49 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en H200 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per GPU. GPU-en og minnet er bare ditt så lenge leien varer.
| GPU | H200 SXM, Hopper-arkitektur |
|---|---|
| Minne | 141 GB HBM3e |
| Minnebåndbredde | 4,8 TB/s |
| Maks effekt | Opptil 700 W |
| MIG | Opptil 7 instanser på 18 GB |
| Vert | x86-vert |
| Leieforhold | GPU-en er bare din mens du leier den, aldri delt |
GPU-tall fra NVIDIA H200. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
Regnekraften til H100 med 76 % mer minne: større modeller på én GPU og mer plass til KV-cachen.
Modeller i 70B-klassen med lang kontekst
En 70B-modell i FP8 får plass med omtrent 70 GB igjen til KV-cachen, altså lengre prompter og flere samtidige forespørsler.
Modeller opptil omtrent 140B i FP8
Vekter som trenger to H100, får plass på én H200.
Finjustering
Full finjustering og LoRA-kjøringer på modeller som ikke får plass i 80 GB.
Passer dårlig: innebygd FP4
Hopper har ikke FP4; for 4-bits inferens i Blackwell-hastighet kan du leie en B200 eller B300.
Trenger du flere GPU-er koblet med NVLink? Se 8× H200-serveren.
Hva som får plass i 141 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 70B parametere |
| FP8 | 1 byte | omtrent 141B parametere |
| 4-bits kvantisert | 0,5 byte | omtrent 282B parametere (ingen innebygd FP4 på Hopper; kjøretidsmiljøet dekvantiserer) |
Fakturering
| Pris | 3 $,49 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en H200 nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Eller deploy en H200.