GPU-sky
RTX 6000 Ada, dedikert.
En maskin med én NVIDIA RTX 6000 Ada Generation-GPU, 48 GB GDDR6 med ECC på Ada Lovelace-arkitekturen, på en x86-vert. 0 $,75 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en RTX 6000 Ada når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.
| GPU | RTX 6000 Ada Generation, Ada Lovelace-arkitektur |
|---|---|
| Minne | 48 GB GDDR6 med ECC |
| Minnebåndbredde | 960 GB/s |
| CUDA-kjerner | 18 176 |
| Maks effekt | 300 W |
| Vert | x86-vert |
| Leieforhold | Én kunde per maskin, aldri delt |
GPU-tall fra NVIDIA RTX 6000 Ada. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
48 GB med ECC: samme minne som en L40S, på et kort i arbeidsstasjonsklasse.
Inferens med mellomstore modeller
Modeller opptil omtrent 40B parametere i FP8, eller en modell i 30B-klassen med rom til KV-cachen.
Rendering og grafikk
RT-kjerner og en driver i arbeidsstasjonsklasse for rendering, simulering eller blandede pipelines med grafikk og AI.
LoRA-finjusteringer
Adaptertrening på modeller i klassen 7B til 13B, som får plass i 48 GB med margin.
Passer dårlig: trening med flere GPU-er
Den har ikke NVLink, så en jobb som trenger flere GPU-er som utveksler data raskt, hører hjemme på en server med 8 GPU-er.
Hva som får plass i 48 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 24B parametere |
| FP8 | 1 byte | omtrent 48B parametere |
| 4-bits kvantisert | 0,5 byte | omtrent 96B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer) |
Fakturering
| Pris | 0 $,75 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en RTX 6000 Ada nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Sammenlign den med L40S, eller sett deg på ventelisten for RTX 6000 Ada.