Oblak GPU
RTX PRO 6000, namenski.
Naprava z enim GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 z ECC na arhitekturi Blackwell, na gostitelju x86. 1,89 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite RTX PRO 6000, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.
| GPU | RTX PRO 6000 Blackwell Server Edition, arhitektura Blackwell |
|---|---|
| Pomnilnik | 96 GB GDDR7 z ECC |
| Pasovna širina pomnilnika | 1.597 GB/s |
| Jedra CUDA | 24.064 |
| Največja moč | Do 600 W, nastavljivo |
| MIG | Do 4 instance po 24 GB |
| Gostitelj | Gostitelj x86 |
| Najem | Ena stranka na napravo, nikoli deljeno |
Podatki o GPU z NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
96 GB na eni kartici, s tenzorskimi jedri pete generacije, ki poganjajo FP4.
Modeli razreda 70B na enem GPU
Model 70B pri FP8 gre v 96 GB z nekaj prostora za predpomnilnik KV, brez razdeljevanja na več GPU-jev.
Sklepanje v FP4
Blackwell izvorno podpira FP4, zato 4-bitni model z do približno 192B parametri gre v pomnilnik že glede na uteži.
Grafika in AI na eni kartici
Jedra RT in velik slikovni medpomnilnik za upodabljanje ali simulacije ob delu z modeli.
Slabo ustreza: učenje na več GPU
Nima NVLink, zato opravilo, ki potrebuje več GPU-jev s hitro izmenjavo podatkov, sodi na strežnik z 8 GPU-ji.
Več manjših opravil
MIG kartico razdeli na največ štiri izolirane GPU-je s 24 GB, za hkratno strežbo več modelov.
Kaj gre v 96 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 48B parametrov |
| FP8 | 1 bajt | približno 96B parametrov |
| FP4 (izvorno na Blackwell) | 0,5 bajta | približno 192B parametrov |
Obračun
| Cena | 1,89 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko RTX PRO 6000 najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Oglejte si, kako se DGX Spark primerja, ali se pridružite čakalnemu seznamu za RTX PRO 6000.