GPU-pilv
RTX 6000 Ada, dedikeeritud.
Ühe GPU-ga NVIDIA RTX 6000 Ada Generation masin, 48 GB GDDR6 koos ECC-ga Ada Lovelace arhitektuuril, x86 hostil. 0,75 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta RTX 6000 Ada, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.
| GPU | RTX 6000 Ada Generation, Ada Lovelace arhitektuur |
|---|---|
| Mälu | 48 GB GDDR6 koos ECC-ga |
| Mälu ribalaius | 960 GB/s |
| CUDA-tuumad | 18 176 |
| Maksimaalne võimsus | 300 W |
| Majuta | x86 host |
| Rendisuhe | Üks klient masina kohta, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA RTX 6000 Ada. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
48 GB koos ECC-ga: sama mälu nagu L40S-il, tööjaamaklassi kaardil.
Keskmise suurusega mudelite inferents
Mudelid kuni umbes 40B parameetrini FP8 täpsusega või 30B-klassi mudel koos ruumiga KV-vahemälule.
Renderdamine ja graafika
RT-tuumad ja tööjaamaklassi draiver renderdamiseks, simulatsiooniks või segatud graafika ja AI-töövoogude jaoks.
LoRA peenhäälestused
Adapterite treenimine 7B kuni 13B-klassi mudelitel, mis mahub 48 GB-sse varuga.
Ei sobi hästi: mitme GPU-ga treenimine
Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.
Mis mahub 48 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 24B parameetrit |
| FP8 | 1 bait | umbes 48B parameetrit |
| 4-bitiseks kvantitud | 0,5 baiti | umbes 96B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib) |
Arveldus
| Hind | 0,75 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan RTX 6000 Ada kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Võrdle seda L40S-iga või liitu RTX 6000 Ada ootenimekirjaga.