GPU-sky
L40S, dedikert.
En maskin med én L40S-GPU, 48 GB GDDR6 på NVIDIAs Ada Lovelace-arkitektur, på en x86-vert. 0 $,99 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en L40S når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.
| GPU | L40S, Ada Lovelace-arkitektur |
|---|---|
| Minne | 48 GB GDDR6 |
| Vert | x86-vert |
| Leieforhold | Én kunde per maskin, aldri delt |
GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
48 GB plasserer L40S mellom de 32 GB i en 5090 og de 128 GB i en Spark, med ECC-minne i datasenterklasse.
Inferens med mellomstore modeller
Modeller opptil omtrent 40B parametere i FP8, eller en modell i 30B-klassen med rom til KV-cachen.
Blandet grafikk og AI
RT-kjerner og en mediemotor ved siden av FP8-tensorkjerner, for pipelines som renderer og kjører inferens på ett kort.
LoRA-finjusteringer
Adaptertrening på modeller i klassen 7B til 13B, som får plass i 48 GB med margin.
Passer dårlig: trening med flere GPU-er
Den har ikke NVLink, så en jobb som trenger flere GPU-er som utveksler data raskt, hører hjemme på en server med 8 GPU-er.
Hva som får plass i 48 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 24B parametere |
| FP8 | 1 byte | omtrent 48B parametere |
| 4-bits kvantisert | 0,5 byte | omtrent 96B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer) |
Fakturering
| Pris | 0 $,99 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en L40S nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Se hvordan en Spark står seg mot et separat grafikkort, eller sett deg på ventelisten for L40S.