GPU cloud

RTX 6000 Ada, vyhradená.

Stroj s jedným GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 s ECC na architektúre Ada Lovelace, na x86 hostiteľovi. 0,75 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.

Prenajíma sa podľa poradia: nasaďte RTX 6000 Ada, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.

Špecifikácie

Na uzol. Každá inštancia GPUwerk, na akejkoľvek úrovni, je jeden celý stroj len pre vás.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, architektúra Ada Lovelace
Pamäť48 GB GDDR6 s ECC
Priepustnosť pamäte960 GB/s
Jadrá CUDA18 176
Max. príkon300 W
Hostovaťx86 hostiteľ
NájomJeden zákazník na stroj, nikdy zdieľaný

Údaje o GPU pochádzajú zo stránky NVIDIA RTX 6000 Ada. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.

Čo by ste na ňom spúšťali?

48 GB s ECC: rovnaká pamäť ako L40S, na karte triedy pracovných staníc.

Inferencia stredne veľkých modelov

Modely do asi 40B parametrov v FP8 alebo model triedy 30B s miestom pre KV cache.

Renderovanie a grafika

RT jadrá a ovládač triedy pracovných staníc na renderovanie, simulácie alebo zmiešané pipeline grafiky a AI.

Fine-tuningy LoRA

Trénovanie adaptérov na modeloch triedy 7B až 13B, ktoré sa zmestí do 48 GB s rezervou.

Nehodí sa: trénovanie na viacerých GPU

Nemá NVLink, takže úloha, ktorá potrebuje rýchlu výmenu dát medzi viacerými GPU, patrí na server s 8 GPU.

Čo sa zmestí do 48 GB

Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.

Najväčší model na jednej RTX 6000 Ada, len podľa váh
PresnosťNa parameterNajväčší model, len váhy
FP16 / BF162 bajtyasi 24B parametrov
FP81 bajtasi 48B parametrov
4-bitová kvantizácia0,5 bajtuasi 96B parametrov (Ada nemá natívne FP4; runtime dekvantizuje)

Fakturácia

Sadzba0,75 $ za hodinu, účtované po minútach
FakturáciaPo minútach, z predplateného zostatku kreditu
PoplatkyŽiadne poplatky za odchádzajúce dáta
ZáväzokŽiadne

Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.

FAQ

Môžem si RTX 6000 Ada prenajať hneď?

Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.

Ako funguje účtovanie na tejto úrovni?

Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.

Potrebujete čas na GPU ešte dnes?

DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Porovnajte ho s L40S, alebo sa zapíšte do poradovníka na RTX 6000 Ada.