GPU-pilv

RTX PRO 6000, dedikeeritud.

Ühe GPU-ga NVIDIA RTX PRO 6000 Blackwell Server Edition masin, 96 GB GDDR7 koos ECC-ga Blackwelli arhitektuuril, x86 hostil. 1,89 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta RTX PRO 6000, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, Blackwelli arhitektuur
Mälu96 GB GDDR7 koos ECC-ga
Mälu ribalaius1597 GB/s
CUDA-tuumad24 064
Maksimaalne võimsusKuni 600 W, seadistatav
MIGKuni 4 eksemplari 24 GB-ga
Majutax86 host
RendisuheÜks klient masina kohta, mitte kunagi jagatud

GPU-näitajad lehelt NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

96 GB ühel kaardil, viienda põlvkonna Tensor-tuumadega, mis käitavad FP4-t.

70B-klassi mudelid ühel GPU-l

70B mudel FP8 täpsusega mahub 96 GB-sse ja jätab veidi ruumi KV-vahemälule, ilma et seda peaks GPU-de vahel jagama.

FP4 inferents

Blackwell käitab FP4-t natiivselt, nii et kuni umbes 192B parameetriga 4-bitine mudel mahub kaalude poolest ära.

Graafika ja AI ühel kaardil

RT-tuumad ja suur kaadripuhver renderdamiseks või simulatsiooniks mudelitöö kõrval.

Ei sobi hästi: mitme GPU-ga treenimine

Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.

Mitu väiksemat tööd

MIG jagab kaardi kuni neljaks isoleeritud 24 GB GPU-ks, et serveerida korraga rohkem kui ühte mudelit.

Mis mahub 96 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel RTX PRO 6000-l
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 48B parameetrit
FP81 baitumbes 96B parameetrit
FP4 (natiivne Blackwellil)0,5 baitiumbes 192B parameetrit

Arveldus

Hind1,89 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan RTX PRO 6000 kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas DGX Spark teiste kõrval välja näeb, või liitu RTX PRO 6000 ootenimekirjaga.