GPU cloud
L4, dedikovaná.
Jedna GPU NVIDIA L4, 24 GB GDDR6 na architektuře Ada Lovelace, na hostiteli x86. 0,49 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte L4, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Za GPU. GPU a její paměť jsou po dobu pronájmu jen vaše.
| GPU | L4, architektura Ada Lovelace |
|---|---|
| Paměť | 24 GB GDDR6 |
| Propustnost paměti | 300 GB/s |
| Jádra CUDA | 7 424 |
| Max. příkon | Až 72 W |
| Hostovat | Hostitel x86 |
| Nájem | Po dobu pronájmu je GPU jen vaše, nikdy sdílená |
Údaje o GPU z NVIDIA L4. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
Úsporná inferenční karta: 24 GB při 72 W, pro modely, které se vejdou, a provoz, který nepotřebuje H100.
Inference malých modelů
Chatovací nebo completion modely do zhruba 14B parametrů v FP8 a embeddingové nebo rerankovací modely za API, kde 24 GB stačí.
Pipeline pro video a zpracování obrazu
Hardwarové kódování a dekódování videa vedle GPU, pro překódování nebo pro vizuální modely, které čtou snímky videa.
Levný vývoj
Sestavení a otestování stacku pro provoz modelů na levné GPU před přesunem na větší.
Nevhodné: trénování a velký fine-tuning
24 GB nechává málo místa pro gradienty a stav optimalizátoru, takže cokoli většího než malá LoRA patří na H100 nebo větší.
Co se vejde do 24 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 12B parametrů |
| FP8 | 1 bajt | zhruba 24B parametrů |
| 4bitová kvantizace | 0,5 bajtu | zhruba 48B parametrů (Ada nemá nativní FP4; runtime dekvantizuje) |
Fakturace
| Sazba | 0,49 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si L4 pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Nebo nasaďte L4.