GPU-cloud

L40S, dedikeret.

En L40S-maskine med én GPU, 48 GB GDDR6 på NVIDIAs Ada Lovelace-arkitektur, på en x86-host. 0 $,99 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.

Udlejes efter først-til-mølle: udrul en L40S, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.

Specifikationer

Pr. node. Hver GPUwerk-instans, på ethvert niveau, er én hel maskine for dig selv.

NVIDIA L40S
GPUL40S, Ada Lovelace-arkitektur
Hukommelse48 GB GDDR6
Hostx86-vært
LejemodelÉn kunde pr. maskine, aldrig delt

GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.

Hvad ville du køre på den?

Med 48 GB ligger L40S mellem 5090's 32 GB og en Sparks 128 GB, med ECC-hukommelse i datacenterklasse.

Inferens med mellemstore modeller

Modeller op til cirka 40B parametre ved FP8 eller en model i 30B-klassen med plads til KV-cachen.

Blandet grafik og AI

RT-kerner og en medieenhed ved siden af FP8-tensorkerner til pipelines, der renderer og laver inferens på ét kort.

LoRA-finjusteringer

Adaptertræning på modeller i 7B- til 13B-klassen, som passer i 48 GB med luft.

Passer dårligt: træning på flere GPU'er

Den har ingen NVLink, så et job, der kræver flere GPU'er, der udveksler data hurtigt, hører hjemme på en server med 8 GPU'er.

Hvad passer i 48 GB

Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.

Største model ud fra vægtene alene på én L40S
PræcisionPr. parameterStørste model, kun vægte
FP16 / BF162 bytecirka 24B parametre
FP81 bytecirka 48B parametre
4-bit kvantiseret0,5 bytecirka 96B parametre (ingen indbygget FP4 på Ada; runtime dekvantiserer)

Fakturering

Pris0 $,99 i timen, faktureret pr. minut
FaktureringPr. minut fra en forudbetalt kreditsaldo
GebyrerIngen gebyrer for udgående trafik
BindingIngen

Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.

FAQ

Kan jeg leje en L40S nu?

Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.

Hvordan fungerer faktureringen på dette niveau?

Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.

Brug for GPU-tid i dag?

En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Se hvordan en Spark klarer sig mod et separat grafikkort, eller skriv dig på ventelisten til L40S.