GPU cloud

RTX PRO 6000, dedikovaná.

Stroj s jednou GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 s ECC na architektuře Blackwell, na hostiteli x86. 1,89 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte RTX PRO 6000, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, architektura Blackwell
Paměť96 GB GDDR7 s ECC
Propustnost paměti1 597 GB/s
Jádra CUDA24 064
Max. příkonAž 600 W, nastavitelné
MIGAž 4 instance po 24 GB
HostovatHostitel x86
NájemJeden zákazník na stroj, nikdy sdíleno

Údaje o GPU z NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

96 GB na jedné kartě, s Tensor jádry páté generace, která zvládají FP4.

Modely třídy 70B na jedné GPU

Model 70B v FP8 se vejde do 96 GB s určitou rezervou pro KV cache, bez dělení mezi více GPU.

Inference v FP4

Blackwell zvládá FP4 nativně, takže 4bitový model až do zhruba 192B parametrů se vejde, počítáno jen podle vah.

Grafika a AI na jedné kartě

RT jádra a velký frame buffer pro renderování nebo simulace vedle práce s modely.

Nevhodné: trénování na více GPU

Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.

Několik menších úloh

MIG rozdělí kartu až na čtyři izolované GPU s 24 GB, pro souběžný provoz více modelů.

Co se vejde do 96 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné RTX PRO 6000
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 48B parametrů
FP81 bajtzhruba 96B parametrů
FP4 (nativně na Blackwell)0,5 bajtuzhruba 192B parametrů

Fakturace

Sazba1,89 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si RTX PRO 6000 pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si DGX Spark stojí ve srovnání, nebo se zapište do pořadníku na RTX PRO 6000.