GPU cloud
RTX PRO 6000, vyhradená.
Stroj s jedným GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC na architektúre Blackwell, na x86 hostiteľovi. 1,89 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.
Prenajíma sa podľa poradia: nasaďte RTX PRO 6000, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.
Špecifikácie
Na uzol. Každá inštancia GPUwerk, na akejkoľvek úrovni, je jeden celý stroj len pre vás.
| GPU | RTX PRO 6000 Blackwell Server Edition, architektúra Blackwell |
|---|---|
| Pamäť | 96 GB GDDR7 s ECC |
| Priepustnosť pamäte | 1 597 GB/s |
| Jadrá CUDA | 24 064 |
| Max. príkon | Až 600 W, nastaviteľné |
| MIG | Až 4 inštancie po 24 GB |
| Hostovať | x86 hostiteľ |
| Nájom | Jeden zákazník na stroj, nikdy zdieľaný |
Údaje o GPU pochádzajú zo stránky NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.
Čo by ste na ňom spúšťali?
96 GB na jednej karte, s tenzorovými jadrami piatej generácie, ktoré zvládajú FP4.
Modely triedy 70B na jednom GPU
Model 70B v FP8 sa zmestí do 96 GB s istou rezervou pre KV cache, bez rozdelenia na viac GPU.
Inferencia v FP4
Blackwell zvláda FP4 natívne, takže 4-bitový model s až asi 192B parametrami sa zmestí, ak rátame len váhy.
Grafika a AI na jednej karte
RT jadrá a veľký frame buffer na renderovanie alebo simulácie popri práci s modelmi.
Nehodí sa: trénovanie na viacerých GPU
Nemá NVLink, takže úloha, ktorá potrebuje rýchlu výmenu dát medzi viacerými GPU, patrí na server s 8 GPU.
Niekoľko menších úloh
MIG rozdelí kartu až na štyri izolované GPU s 24 GB, na prevádzku viacerých modelov naraz.
Čo sa zmestí do 96 GB
Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.
| Presnosť | Na parameter | Najväčší model, len váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | asi 48B parametrov |
| FP8 | 1 bajt | asi 96B parametrov |
| FP4 (natívne na Blackwell) | 0,5 bajtu | asi 192B parametrov |
Fakturácia
| Sadzba | 1,89 $ za hodinu, účtované po minútach |
|---|---|
| Fakturácia | Po minútach, z predplateného zostatku kreditu |
| Poplatky | Žiadne poplatky za odchádzajúce dáta |
| Záväzok | Žiadne |
Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.
FAQ
Môžem si RTX PRO 6000 prenajať hneď?
Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.
Ako funguje účtovanie na tejto úrovni?
Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.
Potrebujete čas na GPU ešte dnes?
DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Pozrite si, ako sa DGX Spark porovnáva, alebo sa zapíšte do poradovníka na RTX PRO 6000.