GPU Cloud
RTX PRO 6000, dedikat.
Magna b'GPU NVIDIA RTX PRO 6000 Blackwell Server Edition wieħed, 96 GB ta' GDDR7 b'ECC fuq l-arkitettura Blackwell, fuq host x86. $1.89 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.
Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja RTX PRO 6000 meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.
Speċifikazzjonijiet
Għal kull nodu. Kull istanza ta' GPUwerk, fuq kull livell, hija magna sħiħa waħda għalik waħdek.
| GPU | RTX PRO 6000 Blackwell Server Edition, arkitettura Blackwell |
|---|---|
| Memorja | 96 GB GDDR7 b'ECC |
| Bandwidth tal-memorja | 1,597 GB/s |
| Cores CUDA | 24,064 |
| Enerġija massima | Sa 600 W, konfigurabbli |
| MIG | Sa 4 istanzi ta' 24 GB |
| Ospita | Host x86 |
| Kirja | Klijent wieħed għal kull magna, qatt maqsuma |
Ċifri tal-GPU minn NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.
X'kont tħaddem fuqu?
96 GB fuq karta waħda, b'Tensor Cores tal-ħames ġenerazzjoni li jħaddmu FP4.
Mudelli tal-klassi 70B fuq GPU wieħed
Mudell 70B f'FP8 joqgħod f'96 GB b'ftit lok għall-KV cache, mingħajr ma jinqasam bejn GPUs.
Inferenza FP4
Blackwell iħaddem FP4 b'mod nattiv, għalhekk mudell 4-bit sa madwar 192B parametru joqgħod bil-piżijiet waħedhom.
Grafika u AI fuq karta waħda
Cores RT u frame buffer kbir għar-rendering jew is-simulazzjoni ħdejn ix-xogħol fuq il-mudelli.
Ma jaqbilx: taħriġ b'diversi GPUs
Ma għandux NVLink, għalhekk xogħol li jeħtieġ diversi GPUs jaqsmu d-data malajr jaqbel fuq server b'8 GPUs.
Diversi xogħlijiet iżgħar
MIG jaqsam il-karta f'sa erba' GPUs iżolati ta' 24 GB, biex taqdi aktar minn mudell wieħed f'daqqa.
X'joqgħod f'96 GB
Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.
| Preċiżjoni | Għal kull parametru | L-akbar mudell, bil-piżijiet biss |
|---|---|---|
| FP16 / BF16 | 2 bytes | madwar 48B parametru |
| FP8 | 1 byte | madwar 96B parametru |
| FP4 (nattiv fuq Blackwell) | 0.5 bytes | madwar 192B parametru |
Fatturazzjoni
| Rata | $1.89 kull siegħa, iffatturat bil-minuta |
|---|---|
| Fatturazzjoni | Bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel |
| Tariffi | Ebda tariffi tal-egress |
| Impenn | Xejn |
Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.
Mistoqsijiet frekwenti
Nista' nikri RTX PRO 6000 issa?
Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.
Kif taħdem il-fatturazzjoni f'dan il-livell?
L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.
Teħtieġ ħin fuq GPU illum?
DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Ara kif iqabbel DGX Spark, jew idħol fil-lista ta' stennija tal-RTX PRO 6000.