GPU-pilv
H100 SXM, dedikeeritud.
Üks NVIDIA H100 SXM GPU, 80 GB HBM3 kiirusega 3,35 TB/s Hopperi arhitektuuril, x86 hostil. 2,69 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta H100, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.
| GPU | H100 SXM5, Hopperi arhitektuur |
|---|---|
| Mälu | 80 GB HBM3 |
| Mälu ribalaius | 3,35 TB/s |
| CUDA-tuumad | 16 896 |
| Maksimaalne võimsus | Kuni 700 W |
| MIG | Kuni 7 eksemplari 10 GB-ga |
| Majuta | x86 host |
| Rendisuhe | Üks klient masina kohta, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA H100 ja H100 arhitektuuri valgest raamatust. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
HBM3 kiirusega 3,35 TB/s, pigem läbilaskevõime kui mahu jaoks.
Suure läbilaskevõimega serveerimine
Pakkinferents paljudele samaaegsetele kasutajatele, kus HBM-i ribalaius määrab tokenid sekundis.
Treenimine ja peenhäälestamine
Täielikud peenhäälestused ja treeningud mudelitele, mis mahuvad 80 GB-sse, FP8-ga Transformer Engine'il.
Mudelid kuni umbes 70B FP8 täpsusega
70B mudeli kaalud mahuvad, kuid KV-vahemälule jääb vähe mälu.
Ei sobi hästi: natiivne FP4 ja suurimad mudelid
Hopperil pole FP4-t ja FP8 täpsusega umbes 70B-st suurem mudel vajab H200-t, Blackwelli GPU-d või mitut GPU-d.
Vajad mitut NVLinkiga ühendatud GPU-d? Vaata 8× H100 serverit.
Mis mahub 80 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 40B parameetrit |
| FP8 | 1 bait | umbes 80B parameetrit |
| 4-bitiseks kvantitud | 0,5 baiti | umbes 160B parameetrit (Hopperil puudub natiivne FP4; käituskeskkond dekvantib) |
Arveldus
| Hind | 2,69 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan H100 kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas DGX Spark teiste kõrval välja näeb, või liitu H100 ootenimekirjaga.