GPU-sky

L40S, dedikert.

En maskin med én L40S-GPU, 48 GB GDDR6 på NVIDIAs Ada Lovelace-arkitektur, på en x86-vert. 0 $,99 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.

Leies ut etter førstemann til mølla: deploy en L40S når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.

Spesifikasjoner

Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.

NVIDIA L40S
GPUL40S, Ada Lovelace-arkitektur
Minne48 GB GDDR6
Vertx86-vert
LeieforholdÉn kunde per maskin, aldri delt

GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.

Hva ville du kjørt på den?

48 GB plasserer L40S mellom de 32 GB i en 5090 og de 128 GB i en Spark, med ECC-minne i datasenterklasse.

Inferens med mellomstore modeller

Modeller opptil omtrent 40B parametere i FP8, eller en modell i 30B-klassen med rom til KV-cachen.

Blandet grafikk og AI

RT-kjerner og en mediemotor ved siden av FP8-tensorkjerner, for pipelines som renderer og kjører inferens på ett kort.

LoRA-finjusteringer

Adaptertrening på modeller i klassen 7B til 13B, som får plass i 48 GB med margin.

Passer dårlig: trening med flere GPU-er

Den har ikke NVLink, så en jobb som trenger flere GPU-er som utveksler data raskt, hører hjemme på en server med 8 GPU-er.

Hva som får plass i 48 GB

Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.

Største modell målt i vekter alene på én L40S
PresisjonPer parameterStørste modell, bare vekter
FP16 / BF162 byteomtrent 24B parametere
FP81 byteomtrent 48B parametere
4-bits kvantisert0,5 byteomtrent 96B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer)

Fakturering

Pris0 $,99 per time, fakturert per minutt
FaktureringPer minutt, mot en forhåndsbetalt kredittsaldo
GebyrerIngen gebyrer for utgående trafikk
BindingIngen

Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.

Spørsmål og svar

Kan jeg leie en L40S nå?

Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.

Hvordan fungerer faktureringen på dette nivået?

Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.

Trenger du GPU-tid i dag?

En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Se hvordan en Spark står seg mot et separat grafikkort, eller sett deg på ventelisten for L40S.