Cloud de GPUs

L4, dedicada.

Uma única GPU NVIDIA L4, 24 GB GDDR6 na arquitetura Ada Lovelace, num anfitrião x86. $ 0,49 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.

Alugada por ordem de chegada: implemente uma L4 quando houver capacidade livre, ou entre na respetiva lista de espera na consola.

Especificações

Por GPU. A GPU e a respetiva memória são só suas durante o aluguer.

NVIDIA L4
GPUL4, arquitetura Ada Lovelace
Memória24 GB GDDR6
Largura de banda de memória300 GB/s
Núcleos CUDA7.424
Potência máximaAté 72 W
AlojarAnfitrião x86
ArrendamentoA GPU é só sua enquanto a aluga, nunca partilhada

Valores de GPU da NVIDIA L4. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.

O que executaria nele?

Uma placa de inferência de baixo consumo: 24 GB a 72 W, para modelos que cabem e tráfego que não precisa de uma H100.

Inferência de modelos pequenos

Modelos de chat ou de completação até cerca de 14B parâmetros em FP8, e modelos de embeddings ou de reranking por trás de uma API, onde 24 GB chegam.

Pipelines de vídeo e visão

Codificação e descodificação de vídeo por hardware junto à GPU, para transcodificação ou para modelos de visão que leem fotogramas de vídeo.

Desenvolvimento de baixo custo

Construir e testar uma stack de serviço numa GPU barata antes de a passar para uma maior.

Pouco adequado: treino e grandes fine-tunings

24 GB deixam pouco espaço para gradientes e estado do otimizador, por isso tudo o que vá além de um LoRA pequeno pertence a uma H100 ou maior.

Precisa de mais memória? Veja a L40S (48 GB) ou a H100 (80 GB).

O que cabe em 24 GB

Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.

Maior modelo, considerando só os pesos, numa L4
PrecisãoPor parâmetroMaior modelo, só pesos
FP16 / BF162 bytescerca de 12B parâmetros
FP81 bytecerca de 24B parâmetros
Quantizado a 4 bits0,5 bytescerca de 48B parâmetros (sem FP4 nativo na Ada; o runtime desquantiza)

Faturação

Tarifa$ 0,49 por hora, faturado ao minuto
FaturaçãoAo minuto, a partir de um saldo de crédito pré-pago
TaxasSem taxas de saída de dados
CompromissoNenhum

Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.

FAQ

Posso alugar uma L4 já?

Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.

Como funciona a faturação neste nível?

Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.

Precisa de GPU hoje?

Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Ou implemente uma L4.