GPU-felhő
RTX 6000 Ada, dedikált.
Egy GPU-s NVIDIA RTX 6000 Ada Generation gép, 48 GB ECC-s GDDR6 az Ada Lovelace architektúrán, x86-os hoszton. 0,75 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.
Érkezési sorrendben bérelhető: indítson egy RTX 6000 Adát, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.
Specifikációk
Csomópontonként. Minden GPUwerk-példány, bármely csomagon, egy teljes gép csak Önnek.
| GPU | RTX 6000 Ada Generation, Ada Lovelace architektúra |
|---|---|
| Memória | 48 GB GDDR6 ECC-vel |
| Memória-sávszélesség | 960 GB/s |
| CUDA-magok | 18 176 |
| Max. teljesítmény | 300 W |
| Üzemeltetés | x86-os hoszt |
| Bérlési mód | Gépenként egy ügyfél, soha nem megosztva |
GPU-adatok forrása: NVIDIA RTX 6000 Ada. A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.
Mit futtatna rajta?
48 GB ECC-vel: ugyanaz a memória, mint az L40S-ben, munkaállomás-kategóriás kártyán.
Közepes méretű modellek inferenciája
Körülbelül 40B paraméterig terjedő modellek FP8-ban, vagy egy 30B kategóriájú modell helyet hagyva a KV-gyorsítótárnak.
Renderelés és grafika
RT-magok és munkaállomás-kategóriás illesztőprogram rendereléshez, szimulációhoz vagy vegyes grafikai és AI-folyamatokhoz.
LoRA-finomhangolások
Adaptertanítás 7B–13B kategóriájú modelleken, ami bőven elfér 48 GB-ban.
Nem ideális: több GPU-s tanítás
Nincs NVLinkje, így az a feladat, amelyhez több GPU gyors adatcseréje kell, 8 GPU-s szerverre való.
Mi fér el 48 GB-ban
Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.
| Pontosság | Paraméterenként | Legnagyobb modell, csak súlyok |
|---|---|---|
| FP16 / BF16 | 2 bájt | körülbelül 24B paraméter |
| FP8 | 1 bájt | körülbelül 48B paraméter |
| 4 bitre kvantált | 0,5 bájt | körülbelül 96B paraméter (az Ada nem támogat natív FP4-et; a futtatókörnyezet dekvantál) |
Számlázás
| Díj | 0,75 USD óránként, percalapú számlázással |
|---|---|
| Számlázás | Percalapon, előre fizetett kreditegyenlegből |
| Díjak | Nincs kimenő forgalmi díj |
| Kötelezettségvállalás | Nincs |
Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.
GYIK
Bérelhetek most RTX 6000 Adát?
Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.
Hogyan működik a számlázás ebben a csomagban?
Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.
Ma kell GPU-idő?
A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Hasonlítsa össze az L40S-sel, vagy iratkozzon fel az RTX 6000 Ada várólistájára.