GPU-cloud
RTX 6000 Ada, dedikeret.
En NVIDIA RTX 6000 Ada Generation-maskine med én GPU, 48 GB GDDR6 med ECC på Ada Lovelace-arkitekturen, på en x86-host. 0 $,75 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.
Udlejes efter først-til-mølle: udrul en RTX 6000 Ada, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.
Specifikationer
Pr. node. Hver GPUwerk-instans, på ethvert niveau, er én hel maskine for dig selv.
| GPU | RTX 6000 Ada Generation, Ada Lovelace-arkitektur |
|---|---|
| Hukommelse | 48 GB GDDR6 med ECC |
| Hukommelsesbåndbredde | 960 GB/s |
| CUDA-kerner | 18.176 |
| Maks. effekt | 300 W |
| Host | x86-vært |
| Lejemodel | Én kunde pr. maskine, aldrig delt |
GPU-tal fra NVIDIA RTX 6000 Ada. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.
Hvad ville du køre på den?
48 GB med ECC: samme hukommelse som en L40S på et kort i workstation-klassen.
Inferens med mellemstore modeller
Modeller op til cirka 40B parametre ved FP8 eller en model i 30B-klassen med plads til KV-cachen.
Rendering og grafik
RT-kerner og en driver i workstation-klassen til rendering, simulering eller blandede grafik- og AI-pipelines.
LoRA-finjusteringer
Adaptertræning på modeller i 7B- til 13B-klassen, som passer i 48 GB med luft.
Passer dårligt: træning på flere GPU'er
Den har ingen NVLink, så et job, der kræver flere GPU'er, der udveksler data hurtigt, hører hjemme på en server med 8 GPU'er.
Hvad passer i 48 GB
Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.
| Præcision | Pr. parameter | Største model, kun vægte |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 24B parametre |
| FP8 | 1 byte | cirka 48B parametre |
| 4-bit kvantiseret | 0,5 byte | cirka 96B parametre (ingen indbygget FP4 på Ada; runtime dekvantiserer) |
Fakturering
| Pris | 0 $,75 i timen, faktureret pr. minut |
|---|---|
| Fakturering | Pr. minut fra en forudbetalt kreditsaldo |
| Gebyrer | Ingen gebyrer for udgående trafik |
| Binding | Ingen |
Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.
FAQ
Kan jeg leje en RTX 6000 Ada nu?
Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.
Hvordan fungerer faktureringen på dette niveau?
Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.
Brug for GPU-tid i dag?
En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Sammenlign den med L40S, eller skriv dig på ventelisten til RTX 6000 Ada.