GPU cloud

L40S, dedikovaná.

Stroj s jednou GPU L40S, 48 GB GDDR6 na architektuře NVIDIA Ada Lovelace, na hostiteli x86. 0,99 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte L40S, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.

NVIDIA L40S
GPUL40S, architektura Ada Lovelace
Paměť48 GB GDDR6
HostovatHostitel x86
NájemJeden zákazník na stroj, nikdy sdíleno

GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

48 GB řadí L40S mezi 32 GB karty 5090 a 128 GB Sparku, s pamětí ECC datacentrové třídy.

Inference středně velkých modelů

Modely do zhruba 40B parametrů v FP8, nebo model třídy 30B s místem pro KV cache.

Kombinace grafiky a AI

RT jádra a mediální engine vedle tenzorových jader FP8, pro pipeline, které renderují i inferují na jedné kartě.

Fine-tuning s LoRA

Trénování adaptérů na modelech třídy 7B až 13B, které se vejde do 48 GB s rezervou.

Nevhodné: trénování na více GPU

Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.

Co se vejde do 48 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné L40S
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 24B parametrů
FP81 bajtzhruba 48B parametrů
4bitová kvantizace0,5 bajtuzhruba 96B parametrů (Ada nemá nativní FP4; runtime dekvantizuje)

Fakturace

Sazba0,99 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si L40S pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si Spark stojí proti samostatné kartě, nebo se zapište do pořadníku na L40S.