GPU oblak
RTX PRO 6000, namjenski.
Stroj s jednim GPU-om NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC-om na arhitekturi Blackwell, na x86 hostu. 1,89 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.
Iznajmljuje se po redoslijedu prijava: pokrenite RTX PRO 6000 kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.
Specifikacije
Po čvoru. Svaka GPUwerkova instanca, na bilo kojoj razini, cijeli je stroj samo za vas.
| GPU | RTX PRO 6000 Blackwell Server Edition, arhitektura Blackwell |
|---|---|
| Memorija | 96 GB GDDR7 s ECC-om |
| Propusnost memorije | 1.597 GB/s |
| CUDA jezgre | 24.064 |
| Najveća snaga | Do 600 W, podesivo |
| MIG | Do 4 instance po 24 GB |
| Host | x86 host |
| Dodjela korisnicima | Jedan korisnik po stroju, nikad dijeljeno |
Podaci o GPU-u s NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.
Što biste na njemu pokrenuli?
96 GB na jednoj kartici, s Tensor jezgrama pete generacije koje izvode FP4.
Modeli klase 70B na jednom GPU-u
Model od 70B u FP8 stane u 96 GB uz nešto mjesta za KV predmemoriju, bez dijeljenja na više GPU-ova.
FP4 inferencija
Blackwell izvorno izvodi FP4, pa 4-bitni model do otprilike 192B parametara stane već po težinama.
Grafika i AI na jednoj kartici
RT jezgre i velik međuspremnik slike za renderiranje ili simulaciju uz rad s modelima.
Loš izbor: treniranje na više GPU-ova
Nema NVLink, pa posao kojem treba više GPU-ova koji brzo razmjenjuju podatke pripada na poslužitelj s 8 GPU-ova.
Nekoliko manjih poslova
MIG dijeli karticu na najviše četiri izolirana GPU-a od 24 GB, za istodobno posluživanje više modela.
Što stane u 96 GB
Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.
| Preciznost | Po parametru | Najveći model, samo težine |
|---|---|---|
| FP16 / BF16 | 2 bajta | oko 48B parametara |
| FP8 | 1 bajt | oko 96B parametara |
| FP4 (izvorno na Blackwellu) | 0,5 bajta | oko 192B parametara |
Naplata
| Cijena | 1,89 USD po satu, naplata po minuti |
|---|---|
| Naplata | Po minuti, iz unaprijed plaćenog stanja kredita |
| Naknade | Bez naknada za izlazni promet |
| Obveza | Ništa |
Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.
Česta pitanja
Mogu li sada unajmiti RTX PRO 6000?
Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.
Kako naplata funkcionira na ovoj razini?
Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.
Treba vam GPU vrijeme danas?
DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Pogledajte kako se DGX Spark uspoređuje ili se prijavite na listu čekanja za RTX PRO 6000.