Cloud de GPUs
RTX 6000 Ada, dedicada.
Uma máquina com uma GPU NVIDIA RTX 6000 Ada Generation, 48 GB de GDDR6 com ECC na arquitetura Ada Lovelace, num anfitrião x86. $ 0,75 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.
Alugada por ordem de chegada: implemente uma RTX 6000 Ada quando houver capacidade livre, ou entre na respetiva lista de espera na consola.
Especificações
Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.
| GPU | RTX 6000 Ada Generation, arquitetura Ada Lovelace |
|---|---|
| Memória | 48 GB GDDR6 com ECC |
| Largura de banda de memória | 960 GB/s |
| Núcleos CUDA | 18.176 |
| Potência máxima | 300 W |
| Alojar | Anfitrião x86 |
| Arrendamento | Um cliente por máquina, nunca partilhada |
Valores de GPU da NVIDIA RTX 6000 Ada. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.
O que executaria nele?
48 GB com ECC: a mesma memória de uma L40S, numa placa de classe workstation.
Inferência de modelos de tamanho médio
Modelos até cerca de 40B parâmetros em FP8, ou um modelo da classe 30B com espaço para a cache KV.
Renderização e gráficos
RT cores e um driver de classe workstation para renderização, simulação ou pipelines mistos de gráficos e IA.
Fine-tunings LoRA
Treino de adaptadores em modelos da classe 7B a 13B, que cabe em 48 GB com margem.
Pouco adequado: treino multi-GPU
Não tem NVLink, por isso um trabalho que precise de várias GPUs a trocar dados rapidamente pertence a um servidor de 8 GPUs.
O que cabe em 48 GB
Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.
| Precisão | Por parâmetro | Maior modelo, só pesos |
|---|---|---|
| FP16 / BF16 | 2 bytes | cerca de 24B parâmetros |
| FP8 | 1 byte | cerca de 48B parâmetros |
| Quantizado a 4 bits | 0,5 bytes | cerca de 96B parâmetros (sem FP4 nativo na Ada; o runtime desquantiza) |
Faturação
| Tarifa | $ 0,75 por hora, faturado ao minuto |
|---|---|
| Faturação | Ao minuto, a partir de um saldo de crédito pré-pago |
| Taxas | Sem taxas de saída de dados |
| Compromisso | Nenhum |
Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.
FAQ
Posso alugar uma RTX 6000 Ada já?
Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.
Como funciona a faturação neste nível?
Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.
Precisa de GPU hoje?
Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Compare-o com a L40S, ou entre na lista de espera da RTX 6000 Ada.