GPU cloud
RTX PRO 6000, dedikovaná.
Stroj s jednou GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC na architektuře Blackwell, na hostiteli x86. 1,89 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte RTX PRO 6000, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.
| GPU | RTX PRO 6000 Blackwell Server Edition, architektura Blackwell |
|---|---|
| Paměť | 96 GB GDDR7 s ECC |
| Propustnost paměti | 1 597 GB/s |
| Jádra CUDA | 24 064 |
| Max. příkon | Až 600 W, nastavitelné |
| MIG | Až 4 instance po 24 GB |
| Hostovat | Hostitel x86 |
| Nájem | Jeden zákazník na stroj, nikdy sdíleno |
Údaje o GPU z NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
96 GB na jedné kartě, s Tensor jádry páté generace, která zvládají FP4.
Modely třídy 70B na jedné GPU
Model 70B v FP8 se vejde do 96 GB s určitou rezervou pro KV cache, bez dělení mezi více GPU.
Inference v FP4
Blackwell zvládá FP4 nativně, takže 4bitový model až do zhruba 192B parametrů se vejde, počítáno jen podle vah.
Grafika a AI na jedné kartě
RT jádra a velký frame buffer pro renderování nebo simulace vedle práce s modely.
Nevhodné: trénování na více GPU
Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.
Několik menších úloh
MIG rozdělí kartu až na čtyři izolované GPU s 24 GB, pro souběžný provoz více modelů.
Co se vejde do 96 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 48B parametrů |
| FP8 | 1 bajt | zhruba 96B parametrů |
| FP4 (nativně na Blackwell) | 0,5 bajtu | zhruba 192B parametrů |
Fakturace
| Sazba | 1,89 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si RTX PRO 6000 pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si DGX Spark stojí ve srovnání, nebo se zapište do pořadníku na RTX PRO 6000.