GPU-felhő

RTX PRO 6000, dedikált.

Egy GPU-s NVIDIA RTX PRO 6000 Blackwell Server Edition gép, 96 GB GDDR7 ECC-vel a Blackwell architektúrán, x86-os hoszton. 1,89 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.

Érkezési sorrendben bérelhető: indítson egy RTX PRO 6000-et, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.

Specifikációk

Csomópontonként. Minden GPUwerk-példány, bármely csomagon, egy teljes gép csak Önnek.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, Blackwell architektúra
Memória96 GB GDDR7 ECC-vel
Memória-sávszélesség1597 GB/s
CUDA-magok24 064
Max. teljesítményLegfeljebb 600 W, konfigurálható
MIGLegfeljebb 4 darab 24 GB-os példány
Üzemeltetésx86-os hoszt
Bérlési módGépenként egy ügyfél, soha nem megosztva

GPU-adatok forrása: NVIDIA RTX PRO 6000 Blackwell Server Edition. A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.

Mit futtatna rajta?

96 GB egyetlen kártyán, ötödik generációs Tensor magokkal, amelyek FP4-et futtatnak.

70B kategóriájú modellek egyetlen GPU-n

Egy 70B-s modell FP8-ban elfér 96 GB-ban, némi hellyel a KV-gyorsítótárnak, anélkül hogy több GPU-ra kellene osztani.

FP4-inferencia

A Blackwell natívan futtatja az FP4-et, így egy legfeljebb körülbelül 192B paraméteres 4 bites modell pusztán a súlyok alapján elfér.

Grafika és AI egy kártyán

RT-magok és nagy framebuffer rendereléshez vagy szimulációhoz a modellmunka mellett.

Nem ideális: több GPU-s tanítás

Nincs NVLinkje, így az a feladat, amelyhez több GPU gyors adatcseréje kell, 8 GPU-s szerverre való.

Több kisebb feladat

A MIG a kártyát legfeljebb négy elszigetelt, 24 GB-os GPU-ra osztja, hogy egyszerre több modellt szolgálhasson ki.

Mi fér el 96 GB-ban

Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.

A legnagyobb modell pusztán a súlyok alapján egy RTX PRO 6000-en
PontosságParaméterenkéntLegnagyobb modell, csak súlyok
FP16 / BF162 bájtkörülbelül 48B paraméter
FP81 bájtkörülbelül 96B paraméter
FP4 (natív a Blackwellen)0,5 bájtkörülbelül 192B paraméter

Számlázás

Díj1,89 USD óránként, percalapú számlázással
SzámlázásPercalapon, előre fizetett kreditegyenlegből
DíjakNincs kimenő forgalmi díj
KötelezettségvállalásNincs

Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.

GYIK

Bérelhetek most RTX PRO 6000-et?

Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.

Hogyan működik a számlázás ebben a csomagban?

Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.

Ma kell GPU-idő?

A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Nézze meg, hogyan viszonyul egy DGX Spark, vagy iratkozzon fel az RTX PRO 6000 várólistájára.