Cloud GPU
RTX PRO 6000, dedicat.
O mașină NVIDIA RTX PRO 6000 Blackwell Server Edition cu un singur GPU, 96 GB GDDR7 cu ECC pe arhitectura Blackwell, pe o gazdă x86. 1,89 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.
Închiriat în ordinea sosirii: lansați un RTX PRO 6000 când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.
Specificații
Per nod. Fiecare instanță GPUwerk, pe orice nivel, este o mașină întreagă doar pentru dvs.
| GPU | RTX PRO 6000 Blackwell Server Edition, arhitectura Blackwell |
|---|---|
| Memorie | 96 GB GDDR7 cu ECC |
| Lățime de bandă a memoriei | 1.597 GB/s |
| Nuclee CUDA | 24.064 |
| Putere maximă | Până la 600 W, configurabil |
| MIG | Până la 4 instanțe de 24 GB |
| Găzduiți | Gazdă x86 |
| Închiriere | Un singur client per mașină, niciodată partajată |
Cifrele GPU de pe NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.
Ce ați rula pe el?
96 GB pe o singură placă, cu Tensor Cores de a cincea generație care rulează FP4.
Modele din clasa 70B pe un singur GPU
Un model de 70B la FP8 încape în 96 GB cu ceva loc pentru cache-ul KV, fără a-l împărți pe mai multe GPU-uri.
Inferență FP4
Blackwell rulează FP4 nativ, deci un model pe 4 biți de până la aproximativ 192B parametri încape doar după ponderi.
Grafică și AI pe o singură placă
RT cores și un frame buffer mare pentru randare sau simulare alături de lucrul cu modele.
Potrivire slabă: antrenare multi-GPU
Nu are NVLink, deci un job care necesită mai multe GPU-uri care schimbă rapid date își are locul pe un server cu 8 GPU.
Mai multe joburi mai mici
MIG împarte placa în până la patru GPU-uri izolate de 24 GB, pentru a servi mai multe modele simultan.
Ce încape în 96 GB
Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.
| Precizie | Per parametru | Cel mai mare model, doar ponderile |
|---|---|---|
| FP16 / BF16 | 2 octeți | aproximativ 48B parametri |
| FP8 | 1 octet | aproximativ 96B parametri |
| FP4 (nativ pe Blackwell) | 0,5 octeți | aproximativ 192B parametri |
Facturare
| Tarif | 1,89 $ pe oră, facturat pe minut |
|---|---|
| Facturare | Pe minut, din soldul de credit preplătit |
| Comisioane | Fără taxe pentru traficul de ieșire |
| Angajament | Niciunul |
Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.
Întrebări frecvente
Pot închiria acum un RTX PRO 6000?
Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.
Cum funcționează facturarea pe acest nivel?
La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.
Aveți nevoie de timp GPU azi?
Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Vedeți cum se compară un DGX Spark sau înscrieți-vă pe lista de așteptare RTX PRO 6000.