Oblak GPU
L4, namenski.
En GPU NVIDIA L4, 24 GB GDDR6 na arhitekturi Ada Lovelace, na gostitelju x86. 0,49 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite L4, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na GPU. GPU in njegov pomnilnik sta med najemom samo vaša.
| GPU | L4, arhitektura Ada Lovelace |
|---|---|
| Pomnilnik | 24 GB GDDR6 |
| Pasovna širina pomnilnika | 300 GB/s |
| Jedra CUDA | 7.424 |
| Največja moč | Do 72 W |
| Gostitelj | Gostitelj x86 |
| Najem | GPU je med najemom samo vaš, nikoli deljen |
Podatki o GPU z NVIDIA L4. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
Varčna kartica za sklepanje: 24 GB pri 72 W, za modele, ki gredo v pomnilnik, in promet, ki ne potrebuje H100.
Sklepanje z majhnimi modeli
Modeli za klepet ali dopolnjevanje do približno 14B parametrov pri FP8 ter modeli za vektorske vložitve ali prerazvrščanje za API-jem, kjer je 24 GB dovolj.
Video in vidni cevovodi
Strojno kodiranje in dekodiranje videa ob GPU-ju, za prekodiranje ali za vidne modele, ki berejo videosličice.
Poceni razvoj
Gradnja in preizkušanje strežniškega sklada na poceni GPU-ju, preden ga preselite na zmogljivejšega.
Slabo ustreza: učenje in obsežno fino nastavljanje
24 GB pušča malo prostora za gradiente in stanje optimizatorja, zato vse, kar presega majhen LoRA, sodi na H100 ali večjo kartico.
Potrebujete več pomnilnika? Oglejte si L40S (48 GB) ali H100 (80 GB).
Kaj gre v 24 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 12B parametrov |
| FP8 | 1 bajt | približno 24B parametrov |
| 4-bitno kvantiziran | 0,5 bajta | približno 48B parametrov (Ada nima izvorne podpore FP4; izvajalno okolje dekvantizira) |
Obračun
| Cena | 0,49 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko L4 najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ali pa zaženite L4.