GPU-sky

RTX 6000 Ada, dedikert.

En maskin med én NVIDIA RTX 6000 Ada Generation-GPU, 48 GB GDDR6 med ECC på Ada Lovelace-arkitekturen, på en x86-vert. 0 $,75 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.

Leies ut etter førstemann til mølla: deploy en RTX 6000 Ada når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.

Spesifikasjoner

Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, Ada Lovelace-arkitektur
Minne48 GB GDDR6 med ECC
Minnebåndbredde960 GB/s
CUDA-kjerner18 176
Maks effekt300 W
Vertx86-vert
LeieforholdÉn kunde per maskin, aldri delt

GPU-tall fra NVIDIA RTX 6000 Ada. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.

Hva ville du kjørt på den?

48 GB med ECC: samme minne som en L40S, på et kort i arbeidsstasjonsklasse.

Inferens med mellomstore modeller

Modeller opptil omtrent 40B parametere i FP8, eller en modell i 30B-klassen med rom til KV-cachen.

Rendering og grafikk

RT-kjerner og en driver i arbeidsstasjonsklasse for rendering, simulering eller blandede pipelines med grafikk og AI.

LoRA-finjusteringer

Adaptertrening på modeller i klassen 7B til 13B, som får plass i 48 GB med margin.

Passer dårlig: trening med flere GPU-er

Den har ikke NVLink, så en jobb som trenger flere GPU-er som utveksler data raskt, hører hjemme på en server med 8 GPU-er.

Hva som får plass i 48 GB

Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.

Største modell målt i vekter alene på én RTX 6000 Ada
PresisjonPer parameterStørste modell, bare vekter
FP16 / BF162 byteomtrent 24B parametere
FP81 byteomtrent 48B parametere
4-bits kvantisert0,5 byteomtrent 96B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer)

Fakturering

Pris0 $,75 per time, fakturert per minutt
FaktureringPer minutt, mot en forhåndsbetalt kredittsaldo
GebyrerIngen gebyrer for utgående trafikk
BindingIngen

Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.

Spørsmål og svar

Kan jeg leie en RTX 6000 Ada nå?

Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.

Hvordan fungerer faktureringen på dette nivået?

Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.

Trenger du GPU-tid i dag?

En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Sammenlign den med L40S, eller sett deg på ventelisten for RTX 6000 Ada.