GPU-pilv
RTX PRO 6000, dedikeeritud.
Ühe GPU-ga NVIDIA RTX PRO 6000 Blackwell Server Edition masin, 96 GB GDDR7 koos ECC-ga Blackwelli arhitektuuril, x86 hostil. 1,89 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta RTX PRO 6000, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.
| GPU | RTX PRO 6000 Blackwell Server Edition, Blackwelli arhitektuur |
|---|---|
| Mälu | 96 GB GDDR7 koos ECC-ga |
| Mälu ribalaius | 1597 GB/s |
| CUDA-tuumad | 24 064 |
| Maksimaalne võimsus | Kuni 600 W, seadistatav |
| MIG | Kuni 4 eksemplari 24 GB-ga |
| Majuta | x86 host |
| Rendisuhe | Üks klient masina kohta, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
96 GB ühel kaardil, viienda põlvkonna Tensor-tuumadega, mis käitavad FP4-t.
70B-klassi mudelid ühel GPU-l
70B mudel FP8 täpsusega mahub 96 GB-sse ja jätab veidi ruumi KV-vahemälule, ilma et seda peaks GPU-de vahel jagama.
FP4 inferents
Blackwell käitab FP4-t natiivselt, nii et kuni umbes 192B parameetriga 4-bitine mudel mahub kaalude poolest ära.
Graafika ja AI ühel kaardil
RT-tuumad ja suur kaadripuhver renderdamiseks või simulatsiooniks mudelitöö kõrval.
Ei sobi hästi: mitme GPU-ga treenimine
Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.
Mitu väiksemat tööd
MIG jagab kaardi kuni neljaks isoleeritud 24 GB GPU-ks, et serveerida korraga rohkem kui ühte mudelit.
Mis mahub 96 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 48B parameetrit |
| FP8 | 1 bait | umbes 96B parameetrit |
| FP4 (natiivne Blackwellil) | 0,5 baiti | umbes 192B parameetrit |
Arveldus
| Hind | 1,89 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan RTX PRO 6000 kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas DGX Spark teiste kõrval välja näeb, või liitu RTX PRO 6000 ootenimekirjaga.