GPU oblak

RTX PRO 6000, namjenski.

Stroj s jednim GPU-om NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC-om na arhitekturi Blackwell, na x86 hostu. 1,89 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.

Iznajmljuje se po redoslijedu prijava: pokrenite RTX PRO 6000 kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.

Specifikacije

Po čvoru. Svaka GPUwerkova instanca, na bilo kojoj razini, cijeli je stroj samo za vas.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, arhitektura Blackwell
Memorija96 GB GDDR7 s ECC-om
Propusnost memorije1.597 GB/s
CUDA jezgre24.064
Najveća snagaDo 600 W, podesivo
MIGDo 4 instance po 24 GB
Hostx86 host
Dodjela korisnicimaJedan korisnik po stroju, nikad dijeljeno

Podaci o GPU-u s NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.

Što biste na njemu pokrenuli?

96 GB na jednoj kartici, s Tensor jezgrama pete generacije koje izvode FP4.

Modeli klase 70B na jednom GPU-u

Model od 70B u FP8 stane u 96 GB uz nešto mjesta za KV predmemoriju, bez dijeljenja na više GPU-ova.

FP4 inferencija

Blackwell izvorno izvodi FP4, pa 4-bitni model do otprilike 192B parametara stane već po težinama.

Grafika i AI na jednoj kartici

RT jezgre i velik međuspremnik slike za renderiranje ili simulaciju uz rad s modelima.

Loš izbor: treniranje na više GPU-ova

Nema NVLink, pa posao kojem treba više GPU-ova koji brzo razmjenjuju podatke pripada na poslužitelj s 8 GPU-ova.

Nekoliko manjih poslova

MIG dijeli karticu na najviše četiri izolirana GPU-a od 24 GB, za istodobno posluživanje više modela.

Što stane u 96 GB

Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.

Najveći model samo po težinama na jednom RTX PRO 6000
PreciznostPo parametruNajveći model, samo težine
FP16 / BF162 bajtaoko 48B parametara
FP81 bajtoko 96B parametara
FP4 (izvorno na Blackwellu)0,5 bajtaoko 192B parametara

Naplata

Cijena1,89 USD po satu, naplata po minuti
NaplataPo minuti, iz unaprijed plaćenog stanja kredita
NaknadeBez naknada za izlazni promet
ObvezaNišta

Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.

Česta pitanja

Mogu li sada unajmiti RTX PRO 6000?

Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.

Kako naplata funkcionira na ovoj razini?

Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.

Treba vam GPU vrijeme danas?

DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Pogledajte kako se DGX Spark uspoređuje ili se prijavite na listu čekanja za RTX PRO 6000.