Oblak GPU

RTX 6000 Ada, namenski.

Naprava z enim GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 z ECC na arhitekturi Ada Lovelace, na gostitelju x86. 0,75 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.

Oddaja se po vrstnem redu prijav: zaženite RTX 6000 Ada, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.

Specifikacije

Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, arhitektura Ada Lovelace
Pomnilnik48 GB GDDR6 z ECC
Pasovna širina pomnilnika960 GB/s
Jedra CUDA18.176
Največja moč300 W
GostiteljGostitelj x86
NajemEna stranka na napravo, nikoli deljeno

Podatki o GPU z NVIDIA RTX 6000 Ada. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.

Kaj bi na njem poganjali?

48 GB z ECC: enak pomnilnik kot pri L40S, na kartici razreda delovnih postaj.

Sklepanje s srednje velikimi modeli

Modeli do približno 40B parametrov pri FP8 ali model razreda 30B s prostorom za predpomnilnik KV.

Upodabljanje in grafika

Jedra RT in gonilnik razreda delovnih postaj za upodabljanje, simulacije ali mešane grafične in AI cevovode.

Fino nastavljanje z LoRA

Učenje adapterjev na modelih razreda od 7B do 13B, ki z rezervo gredo v 48 GB.

Slabo ustreza: učenje na več GPU

Nima NVLink, zato opravilo, ki potrebuje več GPU-jev s hitro izmenjavo podatkov, sodi na strežnik z 8 GPU-ji.

Kaj gre v 48 GB

Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.

Največji model samo po utežeh na enem RTX 6000 Ada
NatančnostNa parameterNajvečji model, samo uteži
FP16 / BF162 bajtapribližno 24B parametrov
FP81 bajtpribližno 48B parametrov
4-bitno kvantiziran0,5 bajtapribližno 96B parametrov (Ada nima izvorne podpore FP4; izvajalno okolje dekvantizira)

Obračun

Cena0,75 USD na uro, obračun po minutah
ObračunPo minutah, iz predplačniškega dobroimetja
ProvizijeBrez stroškov odhodnega prometa
ZavezaBrez

Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.

Pogosta vprašanja

Ali lahko RTX 6000 Ada najamem že zdaj?

Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.

Kako poteka obračun pri tem razredu?

Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.

Potrebujete GPU že danes?

DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Primerjajte ga z L40S ali se pridružite čakalnemu seznamu za RTX 6000 Ada.