GPU-pilv
B200, dedikeeritud.
Üks NVIDIA B200 GPU, 180 GB HBM3e Blackwelli arhitektuuril, x86 hostil. 5,49 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta B200, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
GPU kohta. GPU ja selle mälu on rendi ajal ainult sinu omad.
| GPU | B200, Blackwelli arhitektuur |
|---|---|
| Mälu | 180 GB HBM3e |
| Mälu ribalaius | 8 TB/s |
| Täpsus | FP4 ja FP8 teise põlvkonna Transformer Engine'iga |
| Majuta | x86 host |
| Rendisuhe | GPU on rentimise ajal ainult sinu oma, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA DGX B200. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
Blackwell 180 GB-ga GPU kohta ja FP4 toega: samm edasi Hopperist treenimiseks ja suurte mudelite inferentsiks.
FP4 ja FP8 inferents
Natiivne FP4 mahutab ainult kaalude järgi kuni umbes 360B parameetriga mudeli; FP8 kuni umbes 180B.
Treenimine ja peenhäälestamine
Käitused, mis vajavad GPU kohta rohkem mälu ja ribalaiust, kui Hopper pakub.
Üks GPU kahe asemel
Mudelid, mis muidu jagataks kahe H100 või H200 vahel.
Ei sobi hästi: väikesed mudelid
Mudel, mis mahub 24 või 48 GB-sse, töötab L4-l või L40S-il murdosa tunnihinnast.
Vajad ühe serveri kõiki kaheksat GPU-d? Vaata 8× B200 serverit.
Mis mahub 180 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 90B parameetrit |
| FP8 | 1 bait | umbes 180B parameetrit |
| FP4 (natiivne Blackwellil) | 0,5 baiti | umbes 360B parameetrit |
Arveldus
| Hind | 5,49 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan B200 kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Või juuruta B200.