GPU-pilvi

H200, dedikoitu.

Yksi NVIDIA H200 -GPU, 141 GB HBM3e-muistia Hopper-arkkitehtuurilla, x86-isännällä. 3,49 $ tunnilta, laskutus minuutin tarkkuudella, samoin ehdoin kuin kaikilla muilla GPUwerkin tasoilla.

Vuokrataan saapumisjärjestyksessä: ota H200 käyttöön, kun kapasiteettia on vapaana, tai liity sen jonotuslistalle konsolissa.

Tekniset tiedot

GPU:ta kohden. GPU ja sen muisti ovat vain sinun vuokrauksen ajan.

NVIDIA H200
GPUH200 SXM, Hopper-arkkitehtuuri
Muisti141 GB HBM3e
Muistikaista4,8 TB/s
MaksimitehoEnintään 700 W
MIGEnintään 7 instanssia à 18 GB
Ylläpitäjäx86-isäntä
VuokralaisuusGPU on vain sinun vuokrauksen ajan, ei koskaan jaettu

GPU-luvut lähteestä NVIDIA H200. GPUwerk julkaisee tok/s- ja koulutuksen läpäisykykyluvut vain omalla laitteistollaan tehdyistä ajoista. Katso DGX Spark -kaluston vertailutestit, miten ne raportoidaan.

Mitä ajaisit sillä?

H100:n laskentateho 76 % suuremmalla muistilla: suurempia malleja yhdellä GPU:lla ja enemmän tilaa KV-välimuistille.

70B-luokan mallit pitkällä kontekstilla

70B-malli FP8-tarkkuudella mahtuu, ja KV-välimuistille jää noin 70 GB, eli pidempiä kehotteita ja enemmän samanaikaisia pyyntöjä.

Mallit noin 140B:hen asti FP8-tarkkuudella

Painot, jotka vaativat kaksi H100:aa, mahtuvat yhdelle H200:lle.

Hienosäätö

Täydet hienosäädöt ja LoRA-ajot malleilla, jotka eivät mahdu 80 GB:hen.

Huono valinta: natiivi FP4

Hopperissa ei ole FP4:ää; 4-bittiseen päättelyyn Blackwellin nopeudella vuokraa B200 tai B300.

Tarvitsetko useita NVLinkillä yhdistettyjä GPU:ita? Katso 8× H200 -palvelin.

Mikä mahtuu 141 GB:hen

Vain painot: muisti jaettuna tavuilla parametria kohden. Jätä pelivaraa KV-välimuistille, aktivaatioille ja ajoympäristölle, usein 10–30 % enemmän.

Suurin malli pelkkien painojen perusteella yhdellä H200:lla
TarkkuusParametria kohdenSuurin malli, vain painot
FP16 / BF162 tavuanoin 70B parametria
FP81 tavunoin 141B parametria
4-bittiseksi kvantisoitu0,5 tavuanoin 282B parametria (Hopperissa ei natiivia FP4:ää; ajonaikainen ympäristö purkaa kvantisoinnin)

Laskutus

Hinta3,49 $ tunnilta, laskutus minuutin tarkkuudella
LaskutusMinuutin tarkkuudella ennakkoon maksetusta saldosta
MaksutEi tiedonsiirtomaksuja
SitoumusEi mitään

Hinnat ovat USD:nä ilman sovellettavia veroja. Koko laskutusmekaniikka, mukaan lukien mitä pysäyttäminen ja lopettaminen tekevät, on hinnoittelusivulla.

UKK

Voinko vuokrata H200:n nyt?

Ota se käyttöön konsolista, kun kapasiteettia on vapaana; kun sitä ei ole, konsoli tarjoaa jonotuslistan, ja jonossa oleville lähetetään sähköposti yksi kerrallaan, vanhimmasta alkaen. Kapasiteettia ei pidetä kenellekään: se, joka ottaa käyttöön ensin, saa sen.

Miten laskutus toimii tällä tasolla?

Sama kuin kaikilla GPUwerkin tasoilla: minuutin tarkkuudella ennakkoon maksetusta saldosta, USD:nä, ilman sovellettavia veroja, ilman tiedonsiirtomaksuja ja ilman sitoumusta.

Tarvitsetko GPU-aikaa tänään?

DGX Sparkissa on 128 GB yhtenäistä muistia, ja sen voi vuokrata nyt hintaan 0,79 $/tunti, laskutus minuutin tarkkuudella. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa. Tai ota H200 käyttöön.