GPU-pilv

RTX 6000 Ada, dedikeeritud.

Ühe GPU-ga NVIDIA RTX 6000 Ada Generation masin, 48 GB GDDR6 koos ECC-ga Ada Lovelace arhitektuuril, x86 hostil. 0,75 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta RTX 6000 Ada, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, Ada Lovelace arhitektuur
Mälu48 GB GDDR6 koos ECC-ga
Mälu ribalaius960 GB/s
CUDA-tuumad18 176
Maksimaalne võimsus300 W
Majutax86 host
RendisuheÜks klient masina kohta, mitte kunagi jagatud

GPU-näitajad lehelt NVIDIA RTX 6000 Ada. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

48 GB koos ECC-ga: sama mälu nagu L40S-il, tööjaamaklassi kaardil.

Keskmise suurusega mudelite inferents

Mudelid kuni umbes 40B parameetrini FP8 täpsusega või 30B-klassi mudel koos ruumiga KV-vahemälule.

Renderdamine ja graafika

RT-tuumad ja tööjaamaklassi draiver renderdamiseks, simulatsiooniks või segatud graafika ja AI-töövoogude jaoks.

LoRA peenhäälestused

Adapterite treenimine 7B kuni 13B-klassi mudelitel, mis mahub 48 GB-sse varuga.

Ei sobi hästi: mitme GPU-ga treenimine

Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.

Mis mahub 48 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel RTX 6000 Adal
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 24B parameetrit
FP81 baitumbes 48B parameetrit
4-bitiseks kvantitud0,5 baitiumbes 96B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib)

Arveldus

Hind0,75 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan RTX 6000 Ada kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Võrdle seda L40S-iga või liitu RTX 6000 Ada ootenimekirjaga.