GPU-sky

H100 SXM, dedikert.

Én NVIDIA H100 SXM-GPU, 80 GB HBM3 på 3,35 TB/s på Hopper-arkitekturen, på en x86-vert. 2 $,69 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.

Leies ut etter førstemann til mølla: deploy en H100 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.

Spesifikasjoner

Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.

NVIDIA H100 SXM
GPUH100 SXM5, Hopper-arkitektur
Minne80 GB HBM3
Minnebåndbredde3,35 TB/s
CUDA-kjerner16 896
Maks effektOpptil 700 W
MIGOpptil 7 instanser på 10 GB
Vertx86-vert
LeieforholdÉn kunde per maskin, aldri delt

GPU-tall fra NVIDIA H100 og hvitboken om H100-arkitekturen. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.

Hva ville du kjørt på den?

HBM3 på 3,35 TB/s, for gjennomstrømning heller enn kapasitet.

Inferens med høy gjennomstrømning

Batchet inferens for mange samtidige brukere, der HBM-båndbredden bestemmer tokens per sekund.

Trening og finjustering

Full finjustering og treningskjøringer for modeller som får plass i 80 GB, med FP8 på Transformer Engine.

Modeller opptil omtrent 70B i FP8

Vektene til en 70B-modell får plass, men det blir lite minne igjen til KV-cachen.

Passer dårlig: innebygd FP4 og de største modellene

Hopper har ikke FP4, og en modell større enn omtrent 70B i FP8 trenger en H200, en Blackwell-GPU eller flere GPU-er.

Trenger du flere GPU-er koblet med NVLink? Se 8× H100-serveren.

Hva som får plass i 80 GB

Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.

Største modell målt i vekter alene på én H100
PresisjonPer parameterStørste modell, bare vekter
FP16 / BF162 byteomtrent 40B parametere
FP81 byteomtrent 80B parametere
4-bits kvantisert0,5 byteomtrent 160B parametere (ingen innebygd FP4 på Hopper; kjøretidsmiljøet dekvantiserer)

Fakturering

Pris2 $,69 per time, fakturert per minutt
FaktureringPer minutt, mot en forhåndsbetalt kredittsaldo
GebyrerIngen gebyrer for utgående trafikk
BindingIngen

Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.

Spørsmål og svar

Kan jeg leie en H100 nå?

Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.

Hvordan fungerer faktureringen på dette nivået?

Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.

Trenger du GPU-tid i dag?

En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Se hvordan en DGX Spark står seg, eller sett deg på ventelisten for H100.