GPU-pilv
L40S, dedikeeritud.
Ühe GPU-ga L40S masin, 48 GB GDDR6 NVIDIA Ada Lovelace arhitektuuril, x86 hostil. 0,99 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta L40S, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.
| GPU | L40S, Ada Lovelace arhitektuur |
|---|---|
| Mälu | 48 GB GDDR6 |
| Majuta | x86 host |
| Rendisuhe | Üks klient masina kohta, mitte kunagi jagatud |
GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
48 GB paigutab L40S-i 5090 32 GB ja Sparki 128 GB vahele, andmekeskuse klassi ECC-mäluga.
Keskmise suurusega mudelite inferents
Mudelid kuni umbes 40B parameetrini FP8 täpsusega või 30B-klassi mudel koos ruumiga KV-vahemälule.
Segatud graafika ja AI
RT-tuumad ja meediamootor FP8 tensortuumade kõrval töövoogudele, mis renderdavad ja teevad inferentsi ühel kaardil.
LoRA peenhäälestused
Adapterite treenimine 7B kuni 13B-klassi mudelitel, mis mahub 48 GB-sse varuga.
Ei sobi hästi: mitme GPU-ga treenimine
Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.
Mis mahub 48 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 24B parameetrit |
| FP8 | 1 bait | umbes 48B parameetrit |
| 4-bitiseks kvantitud | 0,5 baiti | umbes 96B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib) |
Arveldus
| Hind | 0,99 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan L40S-i kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas Spark eraldiseisva kaardi kõrval välja näeb, või liitu L40S-i ootenimekirjaga.