GPU-cloud

L4, dedikeret.

En enkelt NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-host. 0 $,49 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.

Udlejes efter først-til-mølle: udrul en L4, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.

Specifikationer

Pr. GPU. GPU'en og dens hukommelse er kun dine under lejen.

NVIDIA L4
GPUL4, Ada Lovelace-arkitektur
Hukommelse24 GB GDDR6
Hukommelsesbåndbredde300 GB/s
CUDA-kerner7.424
Maks. effektOp til 72 W
Hostx86-vært
LejemodelGPU'en er kun din, mens du lejer den, aldrig delt

GPU-tal fra NVIDIA L4. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.

Hvad ville du køre på den?

Et inferenskort med lavt strømforbrug: 24 GB ved 72 W til modeller, der passer, og trafik, der ikke kræver en H100.

Inferens med små modeller

Chat- eller completion-modeller op til cirka 14B parametre ved FP8 og embedding- eller reranking-modeller bag en API, hvor 24 GB er nok.

Video- og visionspipelines

Hardwarebaseret videokodning og -afkodning ved siden af GPU'en, til transkodning eller til visionsmodeller, der læser videobilleder.

Billig udvikling

Opbygning og test af en serving-stack på en billig GPU, før den flyttes til en større.

Passer dårligt: træning og store finjusteringer

24 GB giver ikke meget plads til gradienter og optimizer-tilstand, så alt ud over en lille LoRA hører hjemme på en H100 eller større.

Brug for mere hukommelse? Se L40S (48 GB) eller H100 (80 GB).

Hvad passer i 24 GB

Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.

Største model ud fra vægtene alene på én L4
PræcisionPr. parameterStørste model, kun vægte
FP16 / BF162 bytecirka 12B parametre
FP81 bytecirka 24B parametre
4-bit kvantiseret0,5 bytecirka 48B parametre (ingen indbygget FP4 på Ada; runtime dekvantiserer)

Fakturering

Pris0 $,49 i timen, faktureret pr. minut
FaktureringPr. minut fra en forudbetalt kreditsaldo
GebyrerIngen gebyrer for udgående trafik
BindingIngen

Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.

FAQ

Kan jeg leje en L4 nu?

Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.

Hvordan fungerer faktureringen på dette niveau?

Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.

Brug for GPU-tid i dag?

En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Eller udrul en L4.