GPU-pilv

L4, dedikeeritud.

Üks NVIDIA L4 GPU, 24 GB GDDR6 Ada Lovelace arhitektuuril, x86 hostil. 0,49 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta L4, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

GPU kohta. GPU ja selle mälu on rendi ajal ainult sinu omad.

NVIDIA L4
GPUL4, Ada Lovelace arhitektuur
Mälu24 GB GDDR6
Mälu ribalaius300 GB/s
CUDA-tuumad7 424
Maksimaalne võimsusKuni 72 W
Majutax86 host
RendisuheGPU on rentimise ajal ainult sinu oma, mitte kunagi jagatud

GPU-näitajad lehelt NVIDIA L4. GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

Vähese energiatarbega inferentsikaart: 24 GB 72 W juures mudelitele, mis mahuvad, ja liiklusele, mis ei vaja H100-t.

Väikeste mudelite inferents

Vestlus- või lõpetusmudelid kuni umbes 14B parameetrini FP8 täpsusega ning manustamis- või ümberjärjestamismudelid API taga, kus 24 GB on piisav.

Video- ja nägemistöövood

Riistvaraline video kodeerimine ja dekodeerimine GPU kõrval, transkodeerimiseks või visioonimudelitele, mis loevad videokaadreid.

Odav arendus

Serveerimistarkvara ehitamine ja testimine odaval GPU-l enne selle viimist suuremale.

Ei sobi hästi: treenimine ja suured peenhäälestused

24 GB jätab gradientidele ja optimeerija olekule vähe ruumi, nii et kõik, mis on suurem kui väike LoRA, käib H100 või suurema kaardi peale.

Vajad rohkem mälu? Vaata L40S-i (48 GB) või H100 (80 GB).

Mis mahub 24 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel L4-l
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 12B parameetrit
FP81 baitumbes 24B parameetrit
4-bitiseks kvantitud0,5 baitiumbes 48B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib)

Arveldus

Hind0,49 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan L4 kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Või juuruta L4.