GPU-pilv

L40S, dedikeeritud.

Ühe GPU-ga L40S masin, 48 GB GDDR6 NVIDIA Ada Lovelace arhitektuuril, x86 hostil. 0,99 $ tunnis, arveldatakse minutipõhiselt, samadel tingimustel nagu iga teine GPUwerki tase.

Renditakse saabumise järjekorras: juuruta L40S, kui mahtu on vaba, või liitu konsoolis selle ootenimekirjaga.

Spetsifikatsioonid

Sõlme kohta. Iga GPUwerki eksemplar mis tahes tasemel on üks terve masin ainult sulle.

NVIDIA L40S
GPUL40S, Ada Lovelace arhitektuur
Mälu48 GB GDDR6
Majutax86 host
RendisuheÜks klient masina kohta, mitte kunagi jagatud

GPUwerk avaldab tok/s ja treeningu läbilaskevõime näitajaid ainult oma riistvaral tehtud käituste kohta. Kuidas neid esitatakse, vaata DGX Sparki pargi võrdlustestidest.

Mida sa sellel käitaksid?

48 GB paigutab L40S-i 5090 32 GB ja Sparki 128 GB vahele, andmekeskuse klassi ECC-mäluga.

Keskmise suurusega mudelite inferents

Mudelid kuni umbes 40B parameetrini FP8 täpsusega või 30B-klassi mudel koos ruumiga KV-vahemälule.

Segatud graafika ja AI

RT-tuumad ja meediamootor FP8 tensortuumade kõrval töövoogudele, mis renderdavad ja teevad inferentsi ühel kaardil.

LoRA peenhäälestused

Adapterite treenimine 7B kuni 13B-klassi mudelitel, mis mahub 48 GB-sse varuga.

Ei sobi hästi: mitme GPU-ga treenimine

Sellel pole NVLinki, seega kuulub töö, mis vajab mitme GPU kiiret andmevahetust, 8 GPU-ga serverisse.

Mis mahub 48 GB-sse

Ainult kaalud: mälu jagatud baitidega parameetri kohta. Jäta varu KV-vahemälule, aktivatsioonidele ja käituskeskkonnale, sageli 10 kuni 30% rohkem.

Suurim mudel ainult kaalude järgi ühel L40S-il
TäpsusParameetri kohtaSuurim mudel, ainult kaalud
FP16 / BF162 baitiumbes 24B parameetrit
FP81 baitumbes 48B parameetrit
4-bitiseks kvantitud0,5 baitiumbes 96B parameetrit (Adal puudub natiivne FP4; käituskeskkond dekvantib)

Arveldus

Hind0,99 $ tunnis, arveldatakse minutipõhiselt
ArveldusMinutipõhiselt ettemakstud krediidi saldost
TasudVäljuva liikluse tasusid pole
KohustusPuudub

Hinnad on USD-s, ilma kohalduvate maksudeta. Kogu arvelduse mehhanism, sealhulgas mida teeb peatamine võrreldes lõpetamisega, on hinnalehel.

KKK

Kas saan L40S-i kohe rentida?

Juuruta see konsoolist, kui mahtu on vaba; kui pole, pakub konsool ootenimekirja ja järjekorras olijatele saadetakse e-kiri ükshaaval, vanimast alates. Mahtu kellelegi ei hoita: kes esimesena juurutab, see selle saab.

Kuidas arveldus sellel tasemel toimib?

Sama mis igal GPUwerki tasemel: minutipõhiselt ettemakstud krediidi saldost, USD-s, ilma kohalduvate maksudeta, ilma väljuva liikluse tasude ja kohustuseta.

Vajad GPU aega täna?

DGX Sparkil on 128 GB ühismälu ja seda saab kohe rentida hinnaga 0,79 $/tund, arveldatakse minutipõhiselt. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Vaata, kuidas Spark eraldiseisva kaardi kõrval välja näeb, või liitu L40S-i ootenimekirjaga.