GPU cloud

L4, vyhradená.

Jedno GPU NVIDIA L4, 24 GB GDDR6 na architektúre Ada Lovelace, na x86 hostiteľovi. 0,49 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.

Prenajíma sa podľa poradia: nasaďte L4, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.

Špecifikácie

Na GPU. GPU a jej pamäť sú počas prenájmu len vaše.

NVIDIA L4
GPUL4, architektúra Ada Lovelace
Pamäť24 GB GDDR6
Priepustnosť pamäte300 GB/s
Jadrá CUDA7 424
Max. príkonAž 72 W
Hostovaťx86 hostiteľ
NájomGPU je počas prenájmu len vaša, nikdy nie zdieľaná

Údaje o GPU pochádzajú zo stránky NVIDIA L4. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.

Čo by ste na ňom spúšťali?

Úsporná inferenčná karta: 24 GB pri 72 W, pre modely, ktoré sa zmestia, a prevádzku, ktorá nepotrebuje H100.

Inferencia malých modelov

Chatové alebo completion modely do asi 14B parametrov v FP8 a embedding či reranking modely za API, kde 24 GB stačí.

Video a vizuálne pipeline

Hardvérové kódovanie a dekódovanie videa vedľa GPU, na transkódovanie alebo pre vizuálne modely, ktoré čítajú snímky videa.

Lacný vývoj

Zostavenie a otestovanie inferenčného stacku na lacnejšom GPU pred presunom na väčšiu.

Nehodí sa: trénovanie a veľké fine-tuningy

24 GB ponecháva málo miesta na gradienty a stav optimalizátora, takže všetko nad malú LoRA patrí na H100 alebo väčšie.

Potrebujete viac pamäte? Pozrite si L40S (48 GB) alebo H100 (80 GB).

Čo sa zmestí do 24 GB

Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.

Najväčší model na jednej L4, len podľa váh
PresnosťNa parameterNajväčší model, len váhy
FP16 / BF162 bajtyasi 12B parametrov
FP81 bajtasi 24B parametrov
4-bitová kvantizácia0,5 bajtuasi 48B parametrov (Ada nemá natívne FP4; runtime dekvantizuje)

Fakturácia

Sadzba0,49 $ za hodinu, účtované po minútach
FakturáciaPo minútach, z predplateného zostatku kreditu
PoplatkyŽiadne poplatky za odchádzajúce dáta
ZáväzokŽiadne

Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.

FAQ

Môžem si L4 prenajať hneď?

Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.

Ako funguje účtovanie na tejto úrovni?

Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.

Potrebujete čas na GPU ešte dnes?

DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Alebo nasaďte L4.