Oblak GPU

RTX PRO 6000, namenski.

Naprava z enim GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 z ECC na arhitekturi Blackwell, na gostitelju x86. 1,89 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.

Oddaja se po vrstnem redu prijav: zaženite RTX PRO 6000, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.

Specifikacije

Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, arhitektura Blackwell
Pomnilnik96 GB GDDR7 z ECC
Pasovna širina pomnilnika1.597 GB/s
Jedra CUDA24.064
Največja močDo 600 W, nastavljivo
MIGDo 4 instance po 24 GB
GostiteljGostitelj x86
NajemEna stranka na napravo, nikoli deljeno

Podatki o GPU z NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.

Kaj bi na njem poganjali?

96 GB na eni kartici, s tenzorskimi jedri pete generacije, ki poganjajo FP4.

Modeli razreda 70B na enem GPU

Model 70B pri FP8 gre v 96 GB z nekaj prostora za predpomnilnik KV, brez razdeljevanja na več GPU-jev.

Sklepanje v FP4

Blackwell izvorno podpira FP4, zato 4-bitni model z do približno 192B parametri gre v pomnilnik že glede na uteži.

Grafika in AI na eni kartici

Jedra RT in velik slikovni medpomnilnik za upodabljanje ali simulacije ob delu z modeli.

Slabo ustreza: učenje na več GPU

Nima NVLink, zato opravilo, ki potrebuje več GPU-jev s hitro izmenjavo podatkov, sodi na strežnik z 8 GPU-ji.

Več manjših opravil

MIG kartico razdeli na največ štiri izolirane GPU-je s 24 GB, za hkratno strežbo več modelov.

Kaj gre v 96 GB

Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.

Največji model samo po utežeh na enem RTX PRO 6000
NatančnostNa parameterNajvečji model, samo uteži
FP16 / BF162 bajtapribližno 48B parametrov
FP81 bajtpribližno 96B parametrov
FP4 (izvorno na Blackwell)0,5 bajtapribližno 192B parametrov

Obračun

Cena1,89 USD na uro, obračun po minutah
ObračunPo minutah, iz predplačniškega dobroimetja
ProvizijeBrez stroškov odhodnega prometa
ZavezaBrez

Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.

Pogosta vprašanja

Ali lahko RTX PRO 6000 najamem že zdaj?

Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.

Kako poteka obračun pri tem razredu?

Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.

Potrebujete GPU že danes?

DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Oglejte si, kako se DGX Spark primerja, ali se pridružite čakalnemu seznamu za RTX PRO 6000.