GPU-pilv
L4, dedikeeritud.
Üks NVIDIA L4 GPU, 24 GB GDDR6 Ada Lovelace arhitektuuril, x86 hostil. 0,49 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.
Renditakse saabumise järjekorras: juuruta L4, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.
Spetsifikatsioonid
GPU kohta. GPU ja selle mälu on rendi ajal ainult sinu omad.
| GPU | L4, Ada Lovelace arhitektuur |
|---|---|
| Mälu | 24 GB GDDR6 |
| Mälu ribalaius | 300 GB/s |
| CUDA-tuumad | 7 424 |
| Maksimaalne võimsus | Kuni 72 W |
| Majuta | x86 host |
| Rendisuhe | GPU on rentimise ajal ainult sinu oma, mitte kunagi jagatud |
GPU-näitajad lehelt NVIDIA L4. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.
Mida sa sellel käitaksid?
Vähese energiatarbega inferentsikaart: 24 GB 72 W juures mudelitele, mis mahuvad, ja liiklusele, mis ei vaja H100-t.
Väikeste mudelite inferents
Vestlus- või lõpetusmudelid kuni umbes 14B parameetrini FP8 täpsusega ning manustamis- või ümberjärjestamismudelid API taga, kus 24 GB on piisav.
Video- ja nägemistöövood
Riistvaraline video kodeerimine ja dekodeerimine GPU kõrval, transkodeerimiseks või visioonimudelitele, mis loevad videokaadreid.
Odav arendus
Serveerimistarkvara ehitamine ja testimine odaval GPU-l enne selle viimist suuremale.
Ei sobi hästi: treenimine ja suured peenhäälestused
24 GB jätab gradientidele ja optimeerija olekule vähe ruumi, nii et kõik, mis on suurem kui väike LoRA, käib H100 või suurema kaardi peale.
Mis mahub 24 GB-sse
Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.
| Täpsus | Parameetri kohta | Suurim mudel, ainult kaalud |
|---|---|---|
| FP16 / BF16 | 2 baiti | umbes 12B parameetrit |
| FP8 | 1 bait | umbes 24B parameetrit |
| 4-bitiseks kvantitud | 0,5 baiti | umbes 48B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib) |
Arveldus
| Hind | 0,49 $ tunnis, arveldatakse minutipõhiselt |
|---|---|
| Arveldus | Minutipõhiselt ettemakstud krediidi saldost |
| Tasud | Väljuva liikluse tasusid pole |
| Kohustus | Puudub |
Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.
KKK
Kas saan L4 kohe rentida?
Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.
Kuidas arveldus sellel tasemel toimib?
Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.
Vajad GPU aega täna?
DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Või juuruta L4.