GPU cloud

RTX PRO 6000, vyhradená.

Stroj s jedným GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC na architektúre Blackwell, na x86 hostiteľovi. 1,89 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.

Prenajíma sa podľa poradia: nasaďte RTX PRO 6000, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.

Špecifikácie

Na uzol. Každá inštancia GPUwerk, na akejkoľvek úrovni, je jeden celý stroj len pre vás.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, architektúra Blackwell
Pamäť96 GB GDDR7 s ECC
Priepustnosť pamäte1 597 GB/s
Jadrá CUDA24 064
Max. príkonAž 600 W, nastaviteľné
MIGAž 4 inštancie po 24 GB
Hostovaťx86 hostiteľ
NájomJeden zákazník na stroj, nikdy zdieľaný

Údaje o GPU pochádzajú zo stránky NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.

Čo by ste na ňom spúšťali?

96 GB na jednej karte, s tenzorovými jadrami piatej generácie, ktoré zvládajú FP4.

Modely triedy 70B na jednom GPU

Model 70B v FP8 sa zmestí do 96 GB s istou rezervou pre KV cache, bez rozdelenia na viac GPU.

Inferencia v FP4

Blackwell zvláda FP4 natívne, takže 4-bitový model s až asi 192B parametrami sa zmestí, ak rátame len váhy.

Grafika a AI na jednej karte

RT jadrá a veľký frame buffer na renderovanie alebo simulácie popri práci s modelmi.

Nehodí sa: trénovanie na viacerých GPU

Nemá NVLink, takže úloha, ktorá potrebuje rýchlu výmenu dát medzi viacerými GPU, patrí na server s 8 GPU.

Niekoľko menších úloh

MIG rozdelí kartu až na štyri izolované GPU s 24 GB, na prevádzku viacerých modelov naraz.

Čo sa zmestí do 96 GB

Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.

Najväčší model na jednej RTX PRO 6000, len podľa váh
PresnosťNa parameterNajväčší model, len váhy
FP16 / BF162 bajtyasi 48B parametrov
FP81 bajtasi 96B parametrov
FP4 (natívne na Blackwell)0,5 bajtuasi 192B parametrov

Fakturácia

Sadzba1,89 $ za hodinu, účtované po minútach
FakturáciaPo minútach, z predplateného zostatku kreditu
PoplatkyŽiadne poplatky za odchádzajúce dáta
ZáväzokŽiadne

Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.

FAQ

Môžem si RTX PRO 6000 prenajať hneď?

Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.

Ako funguje účtovanie na tejto úrovni?

Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.

Potrebujete čas na GPU ešte dnes?

DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Pozrite si, ako sa DGX Spark porovnáva, alebo sa zapíšte do poradovníka na RTX PRO 6000.