GPU-felhő
H100 SXM, dedikált.
Egyetlen NVIDIA H100 SXM GPU, 80 GB HBM3, 3,35 TB/s sávszélességgel a Hopper architektúrán, x86-os hoszton. 2,69 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.
Érkezési sorrendben bérelhető: indítson egy H100-at, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.
Specifikációk
Csomópontonként. Minden GPUwerk-példány, bármely csomagon, egy teljes gép csak Önnek.
| GPU | H100 SXM5, Hopper architektúra |
|---|---|
| Memória | 80 GB HBM3 |
| Memória-sávszélesség | 3,35 TB/s |
| CUDA-magok | 16 896 |
| Max. teljesítmény | Legfeljebb 700 W |
| MIG | Legfeljebb 7 darab 10 GB-os példány |
| Üzemeltetés | x86-os hoszt |
| Bérlési mód | Gépenként egy ügyfél, soha nem megosztva |
GPU-adatok forrása: NVIDIA H100 és a H100 architektúra-whitepaper. A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.
Mit futtatna rajta?
HBM3 3,35 TB/s sebességgel, az átviteli sebességre, nem a kapacitásra optimalizálva.
Nagy átviteli sebességű kiszolgálás
Kötegelt inferencia sok egyidejű felhasználónak, ahol a HBM-sávszélesség határozza meg a másodpercenkénti tokenszámot.
Tanítás és finomhangolás
Teljes finomhangolások és tanítási futtatások 80 GB-ba férő modelleken, FP8-cal a Transformer Engine-en.
Körülbelül 70B-ig terjedő modellek FP8-ban
Egy 70B-s modell súlyai elférnek, de kevés memória marad a KV-gyorsítótárnak.
Nem ideális: natív FP4 és a legnagyobb modellek
A Hopper nem támogatja az FP4-et, és egy FP8-ban körülbelül 70B-nél nagyobb modellhez H200, Blackwell GPU vagy több GPU kell.
NVLinkkel összekötött több GPU-ra van szüksége? Nézze meg a 8× H100 szervert.
Mi fér el 80 GB-ban
Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.
| Pontosság | Paraméterenként | Legnagyobb modell, csak súlyok |
|---|---|---|
| FP16 / BF16 | 2 bájt | körülbelül 40B paraméter |
| FP8 | 1 bájt | körülbelül 80B paraméter |
| 4 bitre kvantált | 0,5 bájt | körülbelül 160B paraméter (a Hopper nem támogat natív FP4-et; a futtatókörnyezet dekvantál) |
Számlázás
| Díj | 2,69 USD óránként, percalapú számlázással |
|---|---|
| Számlázás | Percalapon, előre fizetett kreditegyenlegből |
| Díjak | Nincs kimenő forgalmi díj |
| Kötelezettségvállalás | Nincs |
Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.
GYIK
Bérelhetek most H100-at?
Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.
Hogyan működik a számlázás ebben a csomagban?
Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.
Ma kell GPU-idő?
A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Nézze meg, hogyan viszonyul egy DGX Spark, vagy iratkozzon fel a H100 várólistájára.