GPU cloud

L4, dedikovaná.

Jedna GPU NVIDIA L4, 24 GB GDDR6 na architektuře Ada Lovelace, na hostiteli x86. 0,49 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte L4, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Za GPU. GPU a její paměť jsou po dobu pronájmu jen vaše.

NVIDIA L4
GPUL4, architektura Ada Lovelace
Paměť24 GB GDDR6
Propustnost paměti300 GB/s
Jádra CUDA7 424
Max. příkonAž 72 W
HostovatHostitel x86
NájemPo dobu pronájmu je GPU jen vaše, nikdy sdílená

Údaje o GPU z NVIDIA L4. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

Úsporná inferenční karta: 24 GB při 72 W, pro modely, které se vejdou, a provoz, který nepotřebuje H100.

Inference malých modelů

Chatovací nebo completion modely do zhruba 14B parametrů v FP8 a embeddingové nebo rerankovací modely za API, kde 24 GB stačí.

Pipeline pro video a zpracování obrazu

Hardwarové kódování a dekódování videa vedle GPU, pro překódování nebo pro vizuální modely, které čtou snímky videa.

Levný vývoj

Sestavení a otestování stacku pro provoz modelů na levné GPU před přesunem na větší.

Nevhodné: trénování a velký fine-tuning

24 GB nechává málo místa pro gradienty a stav optimalizátoru, takže cokoli většího než malá LoRA patří na H100 nebo větší.

Potřebujete víc paměti? Viz L40S (48 GB) nebo H100 (80 GB).

Co se vejde do 24 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné L4
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 12B parametrů
FP81 bajtzhruba 24B parametrů
4bitová kvantizace0,5 bajtuzhruba 48B parametrů (Ada nemá nativní FP4; runtime dekvantizuje)

Fakturace

Sazba0,49 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si L4 pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Nebo nasaďte L4.