GPU oblak

H100 SXM, namjenski.

Jedan NVIDIA H100 SXM GPU, 80 GB HBM3 pri 3,35 TB/s na arhitekturi Hopper, na x86 hostu. 2,69 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.

Iznajmljuje se po redoslijedu prijava: pokrenite H100 kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.

Specifikacije

Po čvoru. Svaka GPUwerkova instanca, na bilo kojoj razini, cijeli je stroj samo za vas.

NVIDIA H100 SXM
GPUH100 SXM5, arhitektura Hopper
Memorija80 GB HBM3
Propusnost memorije3,35 TB/s
CUDA jezgre16.896
Najveća snagaDo 700 W
MIGDo 7 instanci po 10 GB
Hostx86 host
Dodjela korisnicimaJedan korisnik po stroju, nikad dijeljeno

Podaci o GPU-u s NVIDIA H100 i iz arhitektonske bijele knjige za H100. GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.

Što biste na njemu pokrenuli?

HBM3 pri 3,35 TB/s, za propusnost prije nego za kapacitet.

Posluživanje visoke propusnosti

Skupna inferencija za mnogo istodobnih korisnika, gdje propusnost HBM-a određuje broj tokena u sekundi.

Treniranje i fino podešavanje

Potpuna fina podešavanja i treniranja modela koji stanu u 80 GB, s FP8 na Transformer Engineu.

Modeli do otprilike 70B u FP8

Težine modela od 70B stanu, ali za KV predmemoriju ostaje malo memorije.

Loš izbor: izvorni FP4 i najveći modeli

Hopper nema FP4, a modelu većem od otprilike 70B u FP8 treba H200, Blackwell GPU ili više GPU-ova.

Treba vam više GPU-ova povezanih NVLinkom? Pogledajte poslužitelj s 8× H100.

Što stane u 80 GB

Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.

Najveći model samo po težinama na jednom H100
PreciznostPo parametruNajveći model, samo težine
FP16 / BF162 bajtaoko 40B parametara
FP81 bajtoko 80B parametara
4-bitna kvantizacija0,5 bajtaoko 160B parametara (Hopper nema izvorni FP4; okruženje za izvođenje dekvantizira)

Naplata

Cijena2,69 USD po satu, naplata po minuti
NaplataPo minuti, iz unaprijed plaćenog stanja kredita
NaknadeBez naknada za izlazni promet
ObvezaNišta

Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.

Česta pitanja

Mogu li sada unajmiti H100?

Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.

Kako naplata funkcionira na ovoj razini?

Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.

Treba vam GPU vrijeme danas?

DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Pogledajte kako se DGX Spark uspoređuje ili se prijavite na listu čekanja za H100.