GPU cloud
L40S, dedikovaná.
Stroj s jednou GPU L40S, 48 GB GDDR6 na architektuře NVIDIA Ada Lovelace, na hostiteli x86. 0,99 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte L40S, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.
| GPU | L40S, architektura Ada Lovelace |
|---|---|
| Paměť | 48 GB GDDR6 |
| Hostovat | Hostitel x86 |
| Nájem | Jeden zákazník na stroj, nikdy sdíleno |
GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
48 GB řadí L40S mezi 32 GB karty 5090 a 128 GB Sparku, s pamětí ECC datacentrové třídy.
Inference středně velkých modelů
Modely do zhruba 40B parametrů v FP8, nebo model třídy 30B s místem pro KV cache.
Kombinace grafiky a AI
RT jádra a mediální engine vedle tenzorových jader FP8, pro pipeline, které renderují i inferují na jedné kartě.
Fine-tuning s LoRA
Trénování adaptérů na modelech třídy 7B až 13B, které se vejde do 48 GB s rezervou.
Nevhodné: trénování na více GPU
Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.
Co se vejde do 48 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 24B parametrů |
| FP8 | 1 bajt | zhruba 48B parametrů |
| 4bitová kvantizace | 0,5 bajtu | zhruba 96B parametrů (Ada nemá nativní FP4; runtime dekvantizuje) |
Fakturace
| Sazba | 0,99 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si L40S pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si Spark stojí proti samostatné kartě, nebo se zapište do pořadníku na L40S.