GPU-sky

L4, dedikert.

Én NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-vert. 0 $,49 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.

Leies ut etter førstemann til mølla: deploy en L4 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.

Spesifikasjoner

Per GPU. GPU-en og minnet er bare ditt så lenge leien varer.

NVIDIA L4
GPUL4, Ada Lovelace-arkitektur
Minne24 GB GDDR6
Minnebåndbredde300 GB/s
CUDA-kjerner7 424
Maks effektOpptil 72 W
Vertx86-vert
LeieforholdGPU-en er bare din mens du leier den, aldri delt

GPU-tall fra NVIDIA L4. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.

Hva ville du kjørt på den?

Et strømgjerrig inferenskort: 24 GB på 72 W, for modeller som får plass og trafikk som ikke trenger en H100.

Inferens med små modeller

Chat- eller completion-modeller opptil omtrent 14B parametere i FP8, og embedding- eller rerankingmodeller bak et API, der 24 GB er nok.

Video- og bildepipelines

Maskinvarebasert videokoding og -dekoding ved siden av GPU-en, for transkoding eller for bildemodeller som leser videobilder.

Rimelig utvikling

Bygge og teste en inferensstack på en billig GPU før den flyttes til en større.

Passer dårlig: trening og store finjusteringer

24 GB gir lite plass til gradienter og optimeringstilstand, så alt utover en liten LoRA hører hjemme på en H100 eller større.

Trenger du mer minne? Se L40S (48 GB) eller H100 (80 GB).

Hva som får plass i 24 GB

Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.

Største modell målt i vekter alene på én L4
PresisjonPer parameterStørste modell, bare vekter
FP16 / BF162 byteomtrent 12B parametere
FP81 byteomtrent 24B parametere
4-bits kvantisert0,5 byteomtrent 48B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer)

Fakturering

Pris0 $,49 per time, fakturert per minutt
FaktureringPer minutt, mot en forhåndsbetalt kredittsaldo
GebyrerIngen gebyrer for utgående trafikk
BindingIngen

Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.

Spørsmål og svar

Kan jeg leie en L4 nå?

Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.

Hvordan fungerer faktureringen på dette nivået?

Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.

Trenger du GPU-tid i dag?

En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Eller deploy en L4.