GPU cloud
RTX 6000 Ada, dedikovaná.
Stroj s jednou GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 s ECC na architektuře Ada Lovelace, na hostiteli x86. 0,75 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte RTX 6000 Ada, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.
| GPU | RTX 6000 Ada Generation, architektura Ada Lovelace |
|---|---|
| Paměť | 48 GB GDDR6 s ECC |
| Propustnost paměti | 960 GB/s |
| Jádra CUDA | 18 176 |
| Max. příkon | 300 W |
| Hostovat | Hostitel x86 |
| Nájem | Jeden zákazník na stroj, nikdy sdíleno |
Údaje o GPU z NVIDIA RTX 6000 Ada. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
48 GB s ECC: stejná paměť jako L40S, na kartě pracovní stanice.
Inference středně velkých modelů
Modely do zhruba 40B parametrů v FP8, nebo model třídy 30B s místem pro KV cache.
Renderování a grafika
RT jádra a ovladač pracovní stanice pro renderování, simulace nebo smíšené pipeline grafiky a AI.
Fine-tuning s LoRA
Trénování adaptérů na modelech třídy 7B až 13B, které se vejde do 48 GB s rezervou.
Nevhodné: trénování na více GPU
Nemá NVLink, takže úloha, která potřebuje několik GPU rychle si vyměňujících data, patří na server s 8 GPU.
Co se vejde do 48 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 24B parametrů |
| FP8 | 1 bajt | zhruba 48B parametrů |
| 4bitová kvantizace | 0,5 bajtu | zhruba 96B parametrů (Ada nemá nativní FP4; runtime dekvantizuje) |
Fakturace
| Sazba | 0,75 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si RTX 6000 Ada pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Porovnejte ho s L40S, nebo se zapište do pořadníku na RTX 6000 Ada.