GPU mākonis
RTX PRO 6000, tikai jūsu rīcībā.
Vienas GPU NVIDIA RTX PRO 6000 Blackwell Server Edition iekārta, 96 GB GDDR7 ar ECC un Blackwell arhitektūru, x86 resursdatorā. 1,89 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet RTX PRO 6000, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Uz mezglu. Katra GPUwerk instance jebkurā līmenī ir viena vesela iekārta tikai jums.
| GPU | RTX PRO 6000 Blackwell Server Edition, Blackwell arhitektūra |
|---|---|
| Atmiņa | 96 GB GDDR7 ar ECC |
| Atmiņas joslas platums | 1 597 GB/s |
| CUDA kodoli | 24 064 |
| Maks. jauda | Līdz 600 W, konfigurējams |
| MIG | Līdz 4 instancēm pa 24 GB |
| Mitināt | x86 resursdators |
| Nomas modelis | Viens klients vienā iekārtā, nekad netiek koplietota |
GPU skaitļi no NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
96 GB vienā kartē ar piektās paaudzes Tensor Cores, kas darbina FP4.
70B klases modeļi vienā GPU
70B modelis ar FP8 ietilpst 96 GB ar nedaudz vietas KV kešatmiņai, nesadalot to starp GPU.
FP4 inference
Blackwell apstrādā FP4 aparatūras līmenī, tāpēc 4 bitu modelis līdz aptuveni 192B parametriem ietilpst, ja skaita tikai svarus.
Grafika un MI vienā kartē
RT kodoli un liels kadru buferis renderēšanai vai simulācijai līdzās darbam ar modeļiem.
Nav piemērots: apmācība ar vairākiem GPU
Tam nav NVLink, tāpēc uzdevums, kuram vajag vairākus GPU, kas ātri apmainās ar datiem, pieder 8 GPU serverim.
Vairāki mazāki uzdevumi
MIG sadala karti līdz četriem izolētiem 24 GB GPU, lai vienlaikus apkalpotu vairāk nekā vienu modeli.
Kas ietilpst 96 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 48B parametri |
| FP8 | 1 baits | aptuveni 96B parametri |
| FP4 (aparatūras atbalsts Blackwell) | 0,5 baita | aptuveni 192B parametri |
Norēķini
| Likme | 1,89 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai RTX PRO 6000 var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Skatiet, kā DGX Spark salīdzināms, vai pievienojieties RTX PRO 6000 gaidīšanas sarakstam.