GPU Cloud

RTX PRO 6000, dedikat.

Magna b'GPU NVIDIA RTX PRO 6000 Blackwell Server Edition wieħed, 96 GB ta' GDDR7 b'ECC fuq l-arkitettura Blackwell, fuq host x86. $1.89 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja RTX PRO 6000 meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull nodu. Kull istanza ta' GPUwerk, fuq kull livell, hija magna sħiħa waħda għalik waħdek.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, arkitettura Blackwell
Memorja96 GB GDDR7 b'ECC
Bandwidth tal-memorja1,597 GB/s
Cores CUDA24,064
Enerġija massimaSa 600 W, konfigurabbli
MIGSa 4 istanzi ta' 24 GB
OspitaHost x86
KirjaKlijent wieħed għal kull magna, qatt maqsuma

Ċifri tal-GPU minn NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

96 GB fuq karta waħda, b'Tensor Cores tal-ħames ġenerazzjoni li jħaddmu FP4.

Mudelli tal-klassi 70B fuq GPU wieħed

Mudell 70B f'FP8 joqgħod f'96 GB b'ftit lok għall-KV cache, mingħajr ma jinqasam bejn GPUs.

Inferenza FP4

Blackwell iħaddem FP4 b'mod nattiv, għalhekk mudell 4-bit sa madwar 192B parametru joqgħod bil-piżijiet waħedhom.

Grafika u AI fuq karta waħda

Cores RT u frame buffer kbir għar-rendering jew is-simulazzjoni ħdejn ix-xogħol fuq il-mudelli.

Ma jaqbilx: taħriġ b'diversi GPUs

Ma għandux NVLink, għalhekk xogħol li jeħtieġ diversi GPUs jaqsmu d-data malajr jaqbel fuq server b'8 GPUs.

Diversi xogħlijiet iżgħar

MIG jaqsam il-karta f'sa erba' GPUs iżolati ta' 24 GB, biex taqdi aktar minn mudell wieħed f'daqqa.

X'joqgħod f'96 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq RTX PRO 6000 wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 48B parametru
FP81 bytemadwar 96B parametru
FP4 (nattiv fuq Blackwell)0.5 bytesmadwar 192B parametru

Fatturazzjoni

Rata$1.89 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri RTX PRO 6000 issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Ara kif iqabbel DGX Spark, jew idħol fil-lista ta' stennija tal-RTX PRO 6000.