Cloud de GPUs
L4, dedicada.
Uma única GPU NVIDIA L4, 24 GB GDDR6 na arquitetura Ada Lovelace, num anfitrião x86. $ 0,49 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.
Alugada por ordem de chegada: implemente uma L4 quando houver capacidade livre, ou entre na respetiva lista de espera na consola.
Especificações
Por GPU. A GPU e a respetiva memória são só suas durante o aluguer.
| GPU | L4, arquitetura Ada Lovelace |
|---|---|
| Memória | 24 GB GDDR6 |
| Largura de banda de memória | 300 GB/s |
| Núcleos CUDA | 7.424 |
| Potência máxima | Até 72 W |
| Alojar | Anfitrião x86 |
| Arrendamento | A GPU é só sua enquanto a aluga, nunca partilhada |
Valores de GPU da NVIDIA L4. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.
O que executaria nele?
Uma placa de inferência de baixo consumo: 24 GB a 72 W, para modelos que cabem e tráfego que não precisa de uma H100.
Inferência de modelos pequenos
Modelos de chat ou de completação até cerca de 14B parâmetros em FP8, e modelos de embeddings ou de reranking por trás de uma API, onde 24 GB chegam.
Pipelines de vídeo e visão
Codificação e descodificação de vídeo por hardware junto à GPU, para transcodificação ou para modelos de visão que leem fotogramas de vídeo.
Desenvolvimento de baixo custo
Construir e testar uma stack de serviço numa GPU barata antes de a passar para uma maior.
Pouco adequado: treino e grandes fine-tunings
24 GB deixam pouco espaço para gradientes e estado do otimizador, por isso tudo o que vá além de um LoRA pequeno pertence a uma H100 ou maior.
Precisa de mais memória? Veja a L40S (48 GB) ou a H100 (80 GB).
O que cabe em 24 GB
Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.
| Precisão | Por parâmetro | Maior modelo, só pesos |
|---|---|---|
| FP16 / BF16 | 2 bytes | cerca de 12B parâmetros |
| FP8 | 1 byte | cerca de 24B parâmetros |
| Quantizado a 4 bits | 0,5 bytes | cerca de 48B parâmetros (sem FP4 nativo na Ada; o runtime desquantiza) |
Faturação
| Tarifa | $ 0,49 por hora, faturado ao minuto |
|---|---|
| Faturação | Ao minuto, a partir de um saldo de crédito pré-pago |
| Taxas | Sem taxas de saída de dados |
| Compromisso | Nenhum |
Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.
FAQ
Posso alugar uma L4 já?
Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.
Como funciona a faturação neste nível?
Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.
Precisa de GPU hoje?
Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Ou implemente uma L4.