Cloud de GPUs

RTX 6000 Ada, dedicada.

Uma máquina com uma GPU NVIDIA RTX 6000 Ada Generation, 48 GB de GDDR6 com ECC na arquitetura Ada Lovelace, num anfitrião x86. $ 0,75 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.

Alugada por ordem de chegada: implemente uma RTX 6000 Ada quando houver capacidade livre, ou entre na respetiva lista de espera na consola.

Especificações

Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, arquitetura Ada Lovelace
Memória48 GB GDDR6 com ECC
Largura de banda de memória960 GB/s
Núcleos CUDA18.176
Potência máxima300 W
AlojarAnfitrião x86
ArrendamentoUm cliente por máquina, nunca partilhada

Valores de GPU da NVIDIA RTX 6000 Ada. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.

O que executaria nele?

48 GB com ECC: a mesma memória de uma L40S, numa placa de classe workstation.

Inferência de modelos de tamanho médio

Modelos até cerca de 40B parâmetros em FP8, ou um modelo da classe 30B com espaço para a cache KV.

Renderização e gráficos

RT cores e um driver de classe workstation para renderização, simulação ou pipelines mistos de gráficos e IA.

Fine-tunings LoRA

Treino de adaptadores em modelos da classe 7B a 13B, que cabe em 48 GB com margem.

Pouco adequado: treino multi-GPU

Não tem NVLink, por isso um trabalho que precise de várias GPUs a trocar dados rapidamente pertence a um servidor de 8 GPUs.

O que cabe em 48 GB

Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.

Maior modelo, considerando só os pesos, numa RTX 6000 Ada
PrecisãoPor parâmetroMaior modelo, só pesos
FP16 / BF162 bytescerca de 24B parâmetros
FP81 bytecerca de 48B parâmetros
Quantizado a 4 bits0,5 bytescerca de 96B parâmetros (sem FP4 nativo na Ada; o runtime desquantiza)

Faturação

Tarifa$ 0,75 por hora, faturado ao minuto
FaturaçãoAo minuto, a partir de um saldo de crédito pré-pago
TaxasSem taxas de saída de dados
CompromissoNenhum

Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.

FAQ

Posso alugar uma RTX 6000 Ada já?

Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.

Como funciona a faturação neste nível?

Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.

Precisa de GPU hoje?

Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Compare-o com a L40S, ou entre na lista de espera da RTX 6000 Ada.