GPU-pilvi

H100 SXM, dedikoitu.

Yksi NVIDIA H100 SXM -GPU, 80 GB HBM3-muistia 3,35 TB/s:n nopeudella Hopper-arkkitehtuurilla, x86-isännällä. 2,69 $ tunnilta, laskutus minuutin tarkkuudella, samoin ehdoin kuin kaikilla muilla GPUwerkin tasoilla.

Vuokrataan saapumisjärjestyksessä: ota H100 käyttöön, kun kapasiteettia on vapaana, tai liity sen jonotuslistalle konsolissa.

Tekniset tiedot

Solmua kohden. Jokainen GPUwerk-instanssi millä tahansa tasolla on yksi kokonainen kone vain sinulle.

NVIDIA H100 SXM
GPUH100 SXM5, Hopper-arkkitehtuuri
Muisti80 GB HBM3
Muistikaista3,35 TB/s
CUDA-ytimet16 896
MaksimitehoEnintään 700 W
MIGEnintään 7 instanssia à 10 GB
Ylläpitäjäx86-isäntä
VuokralaisuusYksi asiakas konetta kohden, ei koskaan jaettu

GPU-luvut lähteistä NVIDIA H100 ja H100-arkkitehtuurin whitepaper. GPUwerk julkaisee tok/s- ja koulutuksen läpäisykykyluvut vain omalla laitteistollaan tehdyistä ajoista. Katso DGX Spark -kaluston vertailutestit, miten ne raportoidaan.

Mitä ajaisit sillä?

HBM3 3,35 TB/s, läpäisyyn eikä kapasiteettiin.

Suuren läpäisyn palvelu

Eräpäättely monelle samanaikaiselle käyttäjälle, jossa HBM-kaistanleveys määrää tokenit sekunnissa.

Koulutus ja hienosäätö

Täydet hienosäädöt ja koulutusajot malleilla, jotka mahtuvat 80 GB:hen, FP8:lla Transformer Enginessä.

Mallit noin 70B:hen asti FP8-tarkkuudella

70B-mallin painot mahtuvat, mutta KV-välimuistille jää vähän muistia.

Huono valinta: natiivi FP4 ja suurimmat mallit

Hopperissa ei ole FP4:ää, ja noin 70B:tä suurempi malli FP8-tarkkuudella vaatii H200:n, Blackwell-GPU:n tai useita GPU:ita.

Tarvitsetko useita NVLinkillä yhdistettyjä GPU:ita? Katso 8× H100 -palvelin.

Mikä mahtuu 80 GB:hen

Vain painot: muisti jaettuna tavuilla parametria kohden. Jätä pelivaraa KV-välimuistille, aktivaatioille ja ajoympäristölle, usein 10–30 % enemmän.

Suurin malli pelkkien painojen perusteella yhdellä H100:lla
TarkkuusParametria kohdenSuurin malli, vain painot
FP16 / BF162 tavuanoin 40B parametria
FP81 tavunoin 80B parametria
4-bittiseksi kvantisoitu0,5 tavuanoin 160B parametria (Hopperissa ei natiivia FP4:ää; ajonaikainen ympäristö purkaa kvantisoinnin)

Laskutus

Hinta2,69 $ tunnilta, laskutus minuutin tarkkuudella
LaskutusMinuutin tarkkuudella ennakkoon maksetusta saldosta
MaksutEi tiedonsiirtomaksuja
SitoumusEi mitään

Hinnat ovat USD:nä ilman sovellettavia veroja. Koko laskutusmekaniikka, mukaan lukien mitä pysäyttäminen ja lopettaminen tekevät, on hinnoittelusivulla.

UKK

Voinko vuokrata H100:n nyt?

Ota se käyttöön konsolista, kun kapasiteettia on vapaana; kun sitä ei ole, konsoli tarjoaa jonotuslistan, ja jonossa oleville lähetetään sähköposti yksi kerrallaan, vanhimmasta alkaen. Kapasiteettia ei pidetä kenellekään: se, joka ottaa käyttöön ensin, saa sen.

Miten laskutus toimii tällä tasolla?

Sama kuin kaikilla GPUwerkin tasoilla: minuutin tarkkuudella ennakkoon maksetusta saldosta, USD:nä, ilman sovellettavia veroja, ilman tiedonsiirtomaksuja ja ilman sitoumusta.

Tarvitsetko GPU-aikaa tänään?

DGX Sparkissa on 128 GB yhtenäistä muistia, ja sen voi vuokrata nyt hintaan 0,79 $/tunti, laskutus minuutin tarkkuudella. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa. Katso, miten DGX Spark vertautuu, tai liity H100-jonotuslistalle.