GPU-pilvi

L4, dedikoitu.

Yksi NVIDIA L4 -GPU, 24 GB GDDR6-muistia Ada Lovelace -arkkitehtuurilla, x86-isännällä. 0,49 $ tunnilta, laskutus minuutin tarkkuudella, samoin ehdoin kuin kaikilla muilla GPUwerkin tasoilla.

Vuokrataan saapumisjärjestyksessä: ota L4 käyttöön, kun kapasiteettia on vapaana, tai liity sen jonotuslistalle konsolissa.

Tekniset tiedot

GPU:ta kohden. GPU ja sen muisti ovat vain sinun vuokrauksen ajan.

NVIDIA L4
GPUL4, Ada Lovelace -arkkitehtuuri
Muisti24 GB GDDR6
Muistikaista300 GB/s
CUDA-ytimet7 424
MaksimitehoEnintään 72 W
Ylläpitäjäx86-isäntä
VuokralaisuusGPU on vain sinun vuokrauksen ajan, ei koskaan jaettu

GPU-luvut lähteestä NVIDIA L4. GPUwerk julkaisee tok/s- ja koulutuksen läpäisykykyluvut vain omalla laitteistollaan tehdyistä ajoista. Katso DGX Spark -kaluston vertailutestit, miten ne raportoidaan.

Mitä ajaisit sillä?

Vähävirtainen päättelykortti: 24 GB 72 W:lla malleille, jotka mahtuvat, ja liikenteelle, joka ei tarvitse H100:aa.

Pienten mallien päättely

Chat- tai completion-mallit noin 14B parametriin asti FP8-tarkkuudella sekä upotus- tai uudelleenjärjestysmallit API:n takana, joihin 24 GB riittää.

Video- ja näköputket

Laitteistopohjainen videon koodaus ja dekoodaus GPU:n vieressä transkoodaukseen tai videokuvia lukeville näkömalleille.

Edullinen kehitys

Palvelupinon rakentaminen ja testaaminen edullisella GPU:lla ennen siirtoa suurempaan.

Huono valinta: koulutus ja suuret hienosäädöt

24 GB jättää vähän tilaa gradienteille ja optimointitilalle, joten kaikki pientä LoRAa suurempi kuuluu H100:lle tai isommalle.

Tarvitsetko enemmän muistia? Katso L40S (48 GB) tai H100 (80 GB).

Mikä mahtuu 24 GB:hen

Vain painot: muisti jaettuna tavuilla parametria kohden. Jätä pelivaraa KV-välimuistille, aktivaatioille ja ajoympäristölle, usein 10–30 % enemmän.

Suurin malli pelkkien painojen perusteella yhdellä L4:llä
TarkkuusParametria kohdenSuurin malli, vain painot
FP16 / BF162 tavuanoin 12B parametria
FP81 tavunoin 24B parametria
4-bittiseksi kvantisoitu0,5 tavuanoin 48B parametria (Adassa ei natiivia FP4:ää; ajonaikainen ympäristö purkaa kvantisoinnin)

Laskutus

Hinta0,49 $ tunnilta, laskutus minuutin tarkkuudella
LaskutusMinuutin tarkkuudella ennakkoon maksetusta saldosta
MaksutEi tiedonsiirtomaksuja
SitoumusEi mitään

Hinnat ovat USD:nä ilman sovellettavia veroja. Koko laskutusmekaniikka, mukaan lukien mitä pysäyttäminen ja lopettaminen tekevät, on hinnoittelusivulla.

UKK

Voinko vuokrata L4:n nyt?

Ota se käyttöön konsolista, kun kapasiteettia on vapaana; kun sitä ei ole, konsoli tarjoaa jonotuslistan, ja jonossa oleville lähetetään sähköposti yksi kerrallaan, vanhimmasta alkaen. Kapasiteettia ei pidetä kenellekään: se, joka ottaa käyttöön ensin, saa sen.

Miten laskutus toimii tällä tasolla?

Sama kuin kaikilla GPUwerkin tasoilla: minuutin tarkkuudella ennakkoon maksetusta saldosta, USD:nä, ilman sovellettavia veroja, ilman tiedonsiirtomaksuja ja ilman sitoumusta.

Tarvitsetko GPU-aikaa tänään?

DGX Sparkissa on 128 GB yhtenäistä muistia, ja sen voi vuokrata nyt hintaan 0,79 $/tunti, laskutus minuutin tarkkuudella. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa. Tai ota L4 käyttöön.