GPU-felhő

H100 SXM, dedikált.

Egyetlen NVIDIA H100 SXM GPU, 80 GB HBM3, 3,35 TB/s sávszélességgel a Hopper architektúrán, x86-os hoszton. 2,69 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.

Érkezési sorrendben bérelhető: indítson egy H100-at, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.

Specifikációk

Csomópontonként. Minden GPUwerk-példány, bármely csomagon, egy teljes gép csak Önnek.

NVIDIA H100 SXM
GPUH100 SXM5, Hopper architektúra
Memória80 GB HBM3
Memória-sávszélesség3,35 TB/s
CUDA-magok16 896
Max. teljesítményLegfeljebb 700 W
MIGLegfeljebb 7 darab 10 GB-os példány
Üzemeltetésx86-os hoszt
Bérlési módGépenként egy ügyfél, soha nem megosztva

GPU-adatok forrása: NVIDIA H100 és a H100 architektúra-whitepaper. A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.

Mit futtatna rajta?

HBM3 3,35 TB/s sebességgel, az átviteli sebességre, nem a kapacitásra optimalizálva.

Nagy átviteli sebességű kiszolgálás

Kötegelt inferencia sok egyidejű felhasználónak, ahol a HBM-sávszélesség határozza meg a másodpercenkénti tokenszámot.

Tanítás és finomhangolás

Teljes finomhangolások és tanítási futtatások 80 GB-ba férő modelleken, FP8-cal a Transformer Engine-en.

Körülbelül 70B-ig terjedő modellek FP8-ban

Egy 70B-s modell súlyai elférnek, de kevés memória marad a KV-gyorsítótárnak.

Nem ideális: natív FP4 és a legnagyobb modellek

A Hopper nem támogatja az FP4-et, és egy FP8-ban körülbelül 70B-nél nagyobb modellhez H200, Blackwell GPU vagy több GPU kell.

NVLinkkel összekötött több GPU-ra van szüksége? Nézze meg a 8× H100 szervert.

Mi fér el 80 GB-ban

Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.

A legnagyobb modell pusztán a súlyok alapján egy H100-on
PontosságParaméterenkéntLegnagyobb modell, csak súlyok
FP16 / BF162 bájtkörülbelül 40B paraméter
FP81 bájtkörülbelül 80B paraméter
4 bitre kvantált0,5 bájtkörülbelül 160B paraméter (a Hopper nem támogat natív FP4-et; a futtatókörnyezet dekvantál)

Számlázás

Díj2,69 USD óránként, percalapú számlázással
SzámlázásPercalapon, előre fizetett kreditegyenlegből
DíjakNincs kimenő forgalmi díj
KötelezettségvállalásNincs

Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.

GYIK

Bérelhetek most H100-at?

Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.

Hogyan működik a számlázás ebben a csomagban?

Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.

Ma kell GPU-idő?

A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Nézze meg, hogyan viszonyul egy DGX Spark, vagy iratkozzon fel a H100 várólistájára.