GPU cloud
L4, vyhradená.
Jedno GPU NVIDIA L4, 24 GB GDDR6 na architektúre Ada Lovelace, na x86 hostiteľovi. 0,49 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.
Prenajíma sa podľa poradia: nasaďte L4, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.
Špecifikácie
Na GPU. GPU a jej pamäť sú počas prenájmu len vaše.
| GPU | L4, architektúra Ada Lovelace |
|---|---|
| Pamäť | 24 GB GDDR6 |
| Priepustnosť pamäte | 300 GB/s |
| Jadrá CUDA | 7 424 |
| Max. príkon | Až 72 W |
| Hostovať | x86 hostiteľ |
| Nájom | GPU je počas prenájmu len vaša, nikdy nie zdieľaná |
Údaje o GPU pochádzajú zo stránky NVIDIA L4. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.
Čo by ste na ňom spúšťali?
Úsporná inferenčná karta: 24 GB pri 72 W, pre modely, ktoré sa zmestia, a prevádzku, ktorá nepotrebuje H100.
Inferencia malých modelov
Chatové alebo completion modely do asi 14B parametrov v FP8 a embedding či reranking modely za API, kde 24 GB stačí.
Video a vizuálne pipeline
Hardvérové kódovanie a dekódovanie videa vedľa GPU, na transkódovanie alebo pre vizuálne modely, ktoré čítajú snímky videa.
Lacný vývoj
Zostavenie a otestovanie inferenčného stacku na lacnejšom GPU pred presunom na väčšiu.
Nehodí sa: trénovanie a veľké fine-tuningy
24 GB ponecháva málo miesta na gradienty a stav optimalizátora, takže všetko nad malú LoRA patrí na H100 alebo väčšie.
Potrebujete viac pamäte? Pozrite si L40S (48 GB) alebo H100 (80 GB).
Čo sa zmestí do 24 GB
Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.
| Presnosť | Na parameter | Najväčší model, len váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | asi 12B parametrov |
| FP8 | 1 bajt | asi 24B parametrov |
| 4-bitová kvantizácia | 0,5 bajtu | asi 48B parametrov (Ada nemá natívne FP4; runtime dekvantizuje) |
Fakturácia
| Sadzba | 0,49 $ za hodinu, účtované po minútach |
|---|---|
| Fakturácia | Po minútach, z predplateného zostatku kreditu |
| Poplatky | Žiadne poplatky za odchádzajúce dáta |
| Záväzok | Žiadne |
Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.
FAQ
Môžem si L4 prenajať hneď?
Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.
Ako funguje účtovanie na tejto úrovni?
Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.
Potrebujete čas na GPU ešte dnes?
DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Alebo nasaďte L4.