Oblak GPU
RTX 6000 Ada, namenski.
Naprava z enim GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 z ECC na arhitekturi Ada Lovelace, na gostitelju x86. 0,75 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite RTX 6000 Ada, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.
| GPU | RTX 6000 Ada Generation, arhitektura Ada Lovelace |
|---|---|
| Pomnilnik | 48 GB GDDR6 z ECC |
| Pasovna širina pomnilnika | 960 GB/s |
| Jedra CUDA | 18.176 |
| Največja moč | 300 W |
| Gostitelj | Gostitelj x86 |
| Najem | Ena stranka na napravo, nikoli deljeno |
Podatki o GPU z NVIDIA RTX 6000 Ada. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
48 GB z ECC: enak pomnilnik kot pri L40S, na kartici razreda delovnih postaj.
Sklepanje s srednje velikimi modeli
Modeli do približno 40B parametrov pri FP8 ali model razreda 30B s prostorom za predpomnilnik KV.
Upodabljanje in grafika
Jedra RT in gonilnik razreda delovnih postaj za upodabljanje, simulacije ali mešane grafične in AI cevovode.
Fino nastavljanje z LoRA
Učenje adapterjev na modelih razreda od 7B do 13B, ki z rezervo gredo v 48 GB.
Slabo ustreza: učenje na več GPU
Nima NVLink, zato opravilo, ki potrebuje več GPU-jev s hitro izmenjavo podatkov, sodi na strežnik z 8 GPU-ji.
Kaj gre v 48 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 24B parametrov |
| FP8 | 1 bajt | približno 48B parametrov |
| 4-bitno kvantiziran | 0,5 bajta | približno 96B parametrov (Ada nima izvorne podpore FP4; izvajalno okolje dekvantizira) |
Obračun
| Cena | 0,75 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko RTX 6000 Ada najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Primerjajte ga z L40S ali se pridružite čakalnemu seznamu za RTX 6000 Ada.