Cloud de GPUs

L40S, dedicada.

Uma máquina com uma GPU L40S, 48 GB de GDDR6 na arquitetura Ada Lovelace da NVIDIA, num anfitrião x86. $ 0,99 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.

Alugada por ordem de chegada: implemente uma L40S quando houver capacidade livre, ou entre na respetiva lista de espera na consola.

Especificações

Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.

NVIDIA L40S
GPUL40S, arquitetura Ada Lovelace
Memória48 GB GDDR6
AlojarAnfitrião x86
ArrendamentoUm cliente por máquina, nunca partilhada

A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.

O que executaria nele?

Os 48 GB colocam a L40S entre os 32 GB da 5090 e os 128 GB de um Spark, com memória ECC de classe datacenter.

Inferência de modelos de tamanho médio

Modelos até cerca de 40B parâmetros em FP8, ou um modelo da classe 30B com espaço para a cache KV.

Gráficos e IA combinados

RT cores e um motor multimédia a par de tensor cores FP8, para pipelines que renderizam e fazem inferência numa só placa.

Fine-tunings LoRA

Treino de adaptadores em modelos da classe 7B a 13B, que cabe em 48 GB com margem.

Pouco adequado: treino multi-GPU

Não tem NVLink, por isso um trabalho que precise de várias GPUs a trocar dados rapidamente pertence a um servidor de 8 GPUs.

O que cabe em 48 GB

Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.

Maior modelo, considerando só os pesos, numa L40S
PrecisãoPor parâmetroMaior modelo, só pesos
FP16 / BF162 bytescerca de 24B parâmetros
FP81 bytecerca de 48B parâmetros
Quantizado a 4 bits0,5 bytescerca de 96B parâmetros (sem FP4 nativo na Ada; o runtime desquantiza)

Faturação

Tarifa$ 0,99 por hora, faturado ao minuto
FaturaçãoAo minuto, a partir de um saldo de crédito pré-pago
TaxasSem taxas de saída de dados
CompromissoNenhum

Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.

FAQ

Posso alugar uma L40S já?

Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.

Como funciona a faturação neste nível?

Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.

Precisa de GPU hoje?

Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Veja como um Spark se compara com uma placa dedicada, ou entre na lista de espera da L40S.