GPU-pilvi
L4, dedikoitu.
Yksi NVIDIA L4 -GPU, 24 GB GDDR6-muistia Ada Lovelace -arkkitehtuurilla, x86-isännällä. 0,49 $ tunnilta, laskutus minuutin tarkkuudella, samoin ehdoin kuin kaikilla muilla GPUwerkin tasoilla.
Vuokrataan saapumisjärjestyksessä: ota L4 käyttöön, kun kapasiteettia on vapaana, tai liity sen jonotuslistalle konsolissa.
Tekniset tiedot
GPU:ta kohden. GPU ja sen muisti ovat vain sinun vuokrauksen ajan.
| GPU | L4, Ada Lovelace -arkkitehtuuri |
|---|---|
| Muisti | 24 GB GDDR6 |
| Muistikaista | 300 GB/s |
| CUDA-ytimet | 7 424 |
| Maksimiteho | Enintään 72 W |
| Ylläpitäjä | x86-isäntä |
| Vuokralaisuus | GPU on vain sinun vuokrauksen ajan, ei koskaan jaettu |
GPU-luvut lähteestä NVIDIA L4. GPUwerk julkaisee tok/s- ja koulutuksen läpäisykykyluvut vain omalla laitteistollaan tehdyistä ajoista. Katso DGX Spark -kaluston vertailutestit, miten ne raportoidaan.
Mitä ajaisit sillä?
Vähävirtainen päättelykortti: 24 GB 72 W:lla malleille, jotka mahtuvat, ja liikenteelle, joka ei tarvitse H100:aa.
Pienten mallien päättely
Chat- tai completion-mallit noin 14B parametriin asti FP8-tarkkuudella sekä upotus- tai uudelleenjärjestysmallit API:n takana, joihin 24 GB riittää.
Video- ja näköputket
Laitteistopohjainen videon koodaus ja dekoodaus GPU:n vieressä transkoodaukseen tai videokuvia lukeville näkömalleille.
Edullinen kehitys
Palvelupinon rakentaminen ja testaaminen edullisella GPU:lla ennen siirtoa suurempaan.
Huono valinta: koulutus ja suuret hienosäädöt
24 GB jättää vähän tilaa gradienteille ja optimointitilalle, joten kaikki pientä LoRAa suurempi kuuluu H100:lle tai isommalle.
Tarvitsetko enemmän muistia? Katso L40S (48 GB) tai H100 (80 GB).
Mikä mahtuu 24 GB:hen
Vain painot: muisti jaettuna tavuilla parametria kohden. Jätä pelivaraa KV-välimuistille, aktivaatioille ja ajoympäristölle, usein 10–30 % enemmän.
| Tarkkuus | Parametria kohden | Suurin malli, vain painot |
|---|---|---|
| FP16 / BF16 | 2 tavua | noin 12B parametria |
| FP8 | 1 tavu | noin 24B parametria |
| 4-bittiseksi kvantisoitu | 0,5 tavua | noin 48B parametria (Adassa ei natiivia FP4:ää; ajonaikainen ympäristö purkaa kvantisoinnin) |
Laskutus
| Hinta | 0,49 $ tunnilta, laskutus minuutin tarkkuudella |
|---|---|
| Laskutus | Minuutin tarkkuudella ennakkoon maksetusta saldosta |
| Maksut | Ei tiedonsiirtomaksuja |
| Sitoumus | Ei mitään |
Hinnat ovat USD:nä ilman sovellettavia veroja. Koko laskutusmekaniikka, mukaan lukien mitä pysäyttäminen ja lopettaminen tekevät, on hinnoittelusivulla.
UKK
Voinko vuokrata L4:n nyt?
Ota se käyttöön konsolista, kun kapasiteettia on vapaana; kun sitä ei ole, konsoli tarjoaa jonotuslistan, ja jonossa oleville lähetetään sähköposti yksi kerrallaan, vanhimmasta alkaen. Kapasiteettia ei pidetä kenellekään: se, joka ottaa käyttöön ensin, saa sen.
Miten laskutus toimii tällä tasolla?
Sama kuin kaikilla GPUwerkin tasoilla: minuutin tarkkuudella ennakkoon maksetusta saldosta, USD:nä, ilman sovellettavia veroja, ilman tiedonsiirtomaksuja ja ilman sitoumusta.
Tarvitsetko GPU-aikaa tänään?
DGX Sparkissa on 128 GB yhtenäistä muistia, ja sen voi vuokrata nyt hintaan 0,79 $/tunti, laskutus minuutin tarkkuudella. Ensimmäinen lataus: maksa 20 $, saat 30 $ saldoa. Tai ota L4 käyttöön.