GPU-pilv

H100 SXM, dedikeeritud.

Üks NVIDIA H100 SXM GPU, 80 GB HBM3 kiirusega 3,35 TB/s Hopperi arhitektuuril, x86 hostil. 2,69 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta H100, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.

NVIDIA H100 SXM
GPUH100 SXM5, Hopperi arhitektuur
Mälu80 GB HBM3
Mälu ribalaius3,35 TB/s
CUDA-tuumad16 896
Maksimaalne võimsusKuni 700 W
MIGKuni 7 eksemplari 10 GB-ga
Majutax86 host
RendisuheÜks klient masina kohta, mitte kunagi jagatud

GPU-näitajad lehelt NVIDIA H100 ja H100 arhitektuuri valgest raamatust. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

HBM3 kiirusega 3,35 TB/s, pigem läbilaskevõime kui mahu jaoks.

Suure läbilaskevõimega serveerimine

Pakkinferents paljudele samaaegsetele kasutajatele, kus HBM-i ribalaius määrab tokenid sekundis.

Treenimine ja peenhäälestamine

Täielikud peenhäälestused ja treeningud mudelitele, mis mahuvad 80 GB-sse, FP8-ga Transformer Engine'il.

Mudelid kuni umbes 70B FP8 täpsusega

70B mudeli kaalud mahuvad, kuid KV-vahemälule jääb vähe mälu.

Ei sobi hästi: natiivne FP4 ja suurimad mudelid

Hopperil pole FP4-t ja FP8 täpsusega umbes 70B-st suurem mudel vajab H200-t, Blackwelli GPU-d või mitut GPU-d.

Vajad mitut NVLinkiga ühendatud GPU-d? Vaata 8× H100 serverit.

Mis mahub 80 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel H100-l
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 40B parameetrit
FP81 baitumbes 80B parameetrit
4-bitiseks kvantitud0,5 baitiumbes 160B parameetrit (Hopperil puudub natiivne FP4; käituskeskkond dekvantib)

Arveldus

Hind2,69 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan H100 kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas DGX Spark teiste kõrval välja näeb, või liitu H100 ootenimekirjaga.