GPU-pilv
H200, dedikeeritud.
Üks NVIDIA H200 GPU, 141 GB HBM3e Hopperi arhitektuuril, x86 hostil. 3,49 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta H200, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
GPU kohta. GPU ja selle mälu on rendi ajal ainult sinu omad.
| GPU | H200 SXM, Hopperi arhitektuur |
|---|---|
| Mälu | 141 GB HBM3e |
| Mälu ribalaius | 4,8 TB/s |
| Maksimaalne võimsus | Kuni 700 W |
| MIG | Kuni 7 eksemplari 18 GB-ga |
| Majuta | x86 host |
| Rendisuhe | GPU on rentimise ajal ainult sinu oma, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA H200. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
H100 arvutusvõimsus 76% suurema mäluga: suuremad mudelid ühel GPU-l ja rohkem ruumi KV-vahemälule.
70B-klassi mudelid pika kontekstiga
70B mudel FP8 täpsusega mahub ja KV-vahemälule jääb umbes 70 GB, seega saab kasutada pikemaid päringuid ja rohkem samaaegseid päringuid.
Mudelid kuni umbes 140B FP8 täpsusega
Kaalud, mis vajavad kahte H100-t, mahuvad ühele H200-le.
Peenhäälestamine
Täielikud peenhäälestused ja LoRA käitused mudelitel, mis 80 GB-sse ei mahu.
Ei sobi hästi: natiivne FP4
Hopperil pole FP4-t; 4-bitise inferentsi jaoks Blackwelli kiirusel rendi B200 või B300.
Vajad mitut NVLinkiga ühendatud GPU-d? Vaata 8× H200 serverit.
Mis mahub 141 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 70B parameetrit |
| FP8 | 1 bait | umbes 141B parameetrit |
| 4-bitiseks kvantitud | 0,5 baiti | umbes 282B parameetrit (Hopperil puudub natiivne FP4; käituskeskkond dekvantib) |
Arveldus
| Hind | 3,49 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan H200 kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Või juuruta H200.