GPU cloud

L40S, vyhradená.

Stroj s jedným GPU L40S, 48 GB GDDR6 na architektúre NVIDIA Ada Lovelace, na x86 hostiteľovi. 0,99 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.

Prenajíma sa podľa poradia: nasaďte L40S, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.

Špecifikácie

Na uzol. Každá inštancia GPUwerk, na akejkoľvek úrovni, je jeden celý stroj len pre vás.

NVIDIA L40S
GPUL40S, architektúra Ada Lovelace
Pamäť48 GB GDDR6
Hostovaťx86 hostiteľ
NájomJeden zákazník na stroj, nikdy zdieľaný

GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.

Čo by ste na ňom spúšťali?

48 GB stavia L40S medzi 32 GB karty 5090 a 128 GB Sparku, s pamäťou ECC triedy dátových centier.

Inferencia stredne veľkých modelov

Modely do asi 40B parametrov v FP8 alebo model triedy 30B s miestom pre KV cache.

Kombinovaná grafika a AI

RT jadrá a mediálny engine popri tenzorových jadrách FP8, pre pipeline, ktoré renderujú aj inferujú na jednej karte.

Fine-tuningy LoRA

Trénovanie adaptérov na modeloch triedy 7B až 13B, ktoré sa zmestí do 48 GB s rezervou.

Nehodí sa: trénovanie na viacerých GPU

Nemá NVLink, takže úloha, ktorá potrebuje rýchlu výmenu dát medzi viacerými GPU, patrí na server s 8 GPU.

Čo sa zmestí do 48 GB

Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.

Najväčší model na jednej L40S, len podľa váh
PresnosťNa parameterNajväčší model, len váhy
FP16 / BF162 bajtyasi 24B parametrov
FP81 bajtasi 48B parametrov
4-bitová kvantizácia0,5 bajtuasi 96B parametrov (Ada nemá natívne FP4; runtime dekvantizuje)

Fakturácia

Sadzba0,99 $ za hodinu, účtované po minútach
FakturáciaPo minútach, z predplateného zostatku kreditu
PoplatkyŽiadne poplatky za odchádzajúce dáta
ZáväzokŽiadne

Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.

FAQ

Môžem si L40S prenajať hneď?

Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.

Ako funguje účtovanie na tejto úrovni?

Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.

Potrebujete čas na GPU ešte dnes?

DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Pozrite si, ako sa Spark porovnáva so samostatnou kartou, alebo sa zapíšte do poradovníka na L40S.