GPU-pilv

H200, dedikeeritud.

Üks NVIDIA H200 GPU, 141 GB HBM3e Hopperi arhitektuuril, x86 hostil. 3,49 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta H200, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

GPU kohta. GPU ja selle mälu on rendi ajal ainult sinu omad.

NVIDIA H200
GPUH200 SXM, Hopperi arhitektuur
Mälu141 GB HBM3e
Mälu ribalaius4,8 TB/s
Maksimaalne võimsusKuni 700 W
MIGKuni 7 eksemplari 18 GB-ga
Majutax86 host
RendisuheGPU on rentimise ajal ainult sinu oma, mitte kunagi jagatud

GPU-näitajad lehelt NVIDIA H200. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

H100 arvutusvõimsus 76% suurema mäluga: suuremad mudelid ühel GPU-l ja rohkem ruumi KV-vahemälule.

70B-klassi mudelid pika kontekstiga

70B mudel FP8 täpsusega mahub ja KV-vahemälule jääb umbes 70 GB, seega saab kasutada pikemaid päringuid ja rohkem samaaegseid päringuid.

Mudelid kuni umbes 140B FP8 täpsusega

Kaalud, mis vajavad kahte H100-t, mahuvad ühele H200-le.

Peenhäälestamine

Täielikud peenhäälestused ja LoRA käitused mudelitel, mis 80 GB-sse ei mahu.

Ei sobi hästi: natiivne FP4

Hopperil pole FP4-t; 4-bitise inferentsi jaoks Blackwelli kiirusel rendi B200 või B300.

Vajad mitut NVLinkiga ühendatud GPU-d? Vaata 8× H200 serverit.

Mis mahub 141 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel H200-l
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 70B parameetrit
FP81 baitumbes 141B parameetrit
4-bitiseks kvantitud0,5 baitiumbes 282B parameetrit (Hopperil puudub natiivne FP4; käituskeskkond dekvantib)

Arveldus

Hind3,49 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan H200 kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Või juuruta H200.