GPU cloud

RTX 6000 Ada, dedikovaná.

Stroj s jednou GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 s ECC na architektuře Ada Lovelace, na hostiteli x86. 0,75 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte RTX 6000 Ada, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, architektura Ada Lovelace
Paměť48 GB GDDR6 s ECC
Propustnost paměti960 GB/s
Jádra CUDA18 176
Max. příkon300 W
HostovatHostitel x86
NájemJeden zákazník na stroj, nikdy sdíleno

Údaje o GPU z NVIDIA RTX 6000 Ada. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

48 GB s ECC: stejná paměť jako L40S, na kartě pracovní stanice.

Inference středně velkých modelů

Modely do zhruba 40B parametrů v FP8, nebo model třídy 30B s místem pro KV cache.

Renderování a grafika

RT jádra a ovladač pracovní stanice pro renderování, simulace nebo smíšené pipeline grafiky a AI.

Fine-tuning s LoRA

Trénování adaptérů na modelech třídy 7B až 13B, které se vejde do 48 GB s rezervou.

Nevhodné: trénování na více GPU

Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.

Co se vejde do 48 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné RTX 6000 Ada
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 24B parametrů
FP81 bajtzhruba 48B parametrů
4bitová kvantizace0,5 bajtuzhruba 96B parametrů (Ada nemá nativní FP4; runtime dekvantizuje)

Fakturace

Sazba0,75 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si RTX 6000 Ada pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Porovnejte ho s L40S, nebo se zapište do pořadníku na RTX 6000 Ada.