GPU-sky

H200, dedikert.

Én NVIDIA H200-GPU, 141 GB HBM3e på Hopper-arkitekturen, på en x86-vert. 3 $,49 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.

Leies ut etter førstemann til mølla: deploy en H200 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.

Spesifikasjoner

Per GPU. GPU-en og minnet er bare ditt så lenge leien varer.

NVIDIA H200
GPUH200 SXM, Hopper-arkitektur
Minne141 GB HBM3e
Minnebåndbredde4,8 TB/s
Maks effektOpptil 700 W
MIGOpptil 7 instanser på 18 GB
Vertx86-vert
LeieforholdGPU-en er bare din mens du leier den, aldri delt

GPU-tall fra NVIDIA H200. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.

Hva ville du kjørt på den?

Regnekraften til H100 med 76 % mer minne: større modeller på én GPU og mer plass til KV-cachen.

Modeller i 70B-klassen med lang kontekst

En 70B-modell i FP8 får plass med omtrent 70 GB igjen til KV-cachen, altså lengre prompter og flere samtidige forespørsler.

Modeller opptil omtrent 140B i FP8

Vekter som trenger to H100, får plass på én H200.

Finjustering

Full finjustering og LoRA-kjøringer på modeller som ikke får plass i 80 GB.

Passer dårlig: innebygd FP4

Hopper har ikke FP4; for 4-bits inferens i Blackwell-hastighet kan du leie en B200 eller B300.

Trenger du flere GPU-er koblet med NVLink? Se 8× H200-serveren.

Hva som får plass i 141 GB

Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.

Største modell målt i vekter alene på én H200
PresisjonPer parameterStørste modell, bare vekter
FP16 / BF162 byteomtrent 70B parametere
FP81 byteomtrent 141B parametere
4-bits kvantisert0,5 byteomtrent 282B parametere (ingen innebygd FP4 på Hopper; kjøretidsmiljøet dekvantiserer)

Fakturering

Pris3 $,49 per time, fakturert per minutt
FaktureringPer minutt, mot en forhåndsbetalt kredittsaldo
GebyrerIngen gebyrer for utgående trafikk
BindingIngen

Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.

Spørsmål og svar

Kan jeg leie en H200 nå?

Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.

Hvordan fungerer faktureringen på dette nivået?

Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.

Trenger du GPU-tid i dag?

En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Eller deploy en H200.