GPU oblak

RTX 6000 Ada, namjenski.

Stroj s jednim GPU-om NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 s ECC-om na arhitekturi Ada Lovelace, na x86 hostu. 0,75 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.

Iznajmljuje se po redoslijedu prijava: pokrenite RTX 6000 Ada kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.

Specifikacije

Po čvoru. Svaka GPUwerkova instanca, na bilo kojoj razini, cijeli je stroj samo za vas.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, arhitektura Ada Lovelace
Memorija48 GB GDDR6 s ECC-om
Propusnost memorije960 GB/s
CUDA jezgre18.176
Najveća snaga300 W
Hostx86 host
Dodjela korisnicimaJedan korisnik po stroju, nikad dijeljeno

Podaci o GPU-u s NVIDIA RTX 6000 Ada. GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.

Što biste na njemu pokrenuli?

48 GB s ECC-om: ista memorija kao na L40S, na kartici klase radne stanice.

Inferencija na modelima srednje veličine

Modeli do otprilike 40B parametara u FP8 ili model klase 30B uz prostor za KV predmemoriju.

Renderiranje i grafika

RT jezgre i upravljački program radne klase za renderiranje, simulaciju ili kombinirane grafičke i AI procese.

LoRA fina podešavanja

Treniranje adaptera na modelima klase 7B do 13B, što stane u 48 GB uz rezervu.

Loš izbor: treniranje na više GPU-ova

Nema NVLink, pa posao kojem treba više GPU-ova koji brzo razmjenjuju podatke pripada na poslužitelj s 8 GPU-ova.

Što stane u 48 GB

Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.

Najveći model samo po težinama na jednom RTX 6000 Ada
PreciznostPo parametruNajveći model, samo težine
FP16 / BF162 bajtaoko 24B parametara
FP81 bajtoko 48B parametara
4-bitna kvantizacija0,5 bajtaoko 96B parametara (Ada nema izvorni FP4; okruženje za izvođenje dekvantizira)

Naplata

Cijena0,75 USD po satu, naplata po minuti
NaplataPo minuti, iz unaprijed plaćenog stanja kredita
NaknadeBez naknada za izlazni promet
ObvezaNišta

Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.

Česta pitanja

Mogu li sada unajmiti RTX 6000 Ada?

Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.

Kako naplata funkcionira na ovoj razini?

Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.

Treba vam GPU vrijeme danas?

DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Usporedite ga s L40S ili se prijavite na listu čekanja za RTX 6000 Ada.