Cloud de GPUs
RTX PRO 6000, dedicada.
Uma máquina com uma GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB de GDDR7 com ECC na arquitetura Blackwell, num anfitrião x86. $ 1,89 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.
Alugada por ordem de chegada: implemente uma RTX PRO 6000 quando houver capacidade livre, ou entre na respetiva lista de espera na consola.
Especificações
Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.
| GPU | RTX PRO 6000 Blackwell Server Edition, arquitetura Blackwell |
|---|---|
| Memória | 96 GB GDDR7 com ECC |
| Largura de banda de memória | 1597 GB/s |
| Núcleos CUDA | 24.064 |
| Potência máxima | Até 600 W, configurável |
| MIG | Até 4 instâncias de 24 GB |
| Alojar | Anfitrião x86 |
| Arrendamento | Um cliente por máquina, nunca partilhada |
Valores de GPU da NVIDIA RTX PRO 6000 Blackwell Server Edition. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.
O que executaria nele?
96 GB numa só placa, com Tensor Cores de quinta geração que executam FP4.
Modelos da classe 70B numa só GPU
Um modelo de 70B em FP8 cabe em 96 GB com algum espaço para a cache KV, sem o dividir por várias GPUs.
Inferência FP4
A Blackwell executa FP4 nativamente, por isso um modelo de 4 bits até cerca de 192B parâmetros cabe, considerando apenas os pesos.
Gráficos e IA numa só placa
RT cores e um grande frame buffer para renderização ou simulação a par do trabalho com modelos.
Pouco adequado: treino multi-GPU
Não tem NVLink, por isso um trabalho que precise de várias GPUs a trocar dados rapidamente pertence a um servidor de 8 GPUs.
Vários trabalhos mais pequenos
O MIG divide a placa em até quatro GPUs isoladas de 24 GB, para servir mais do que um modelo ao mesmo tempo.
O que cabe em 96 GB
Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.
| Precisão | Por parâmetro | Maior modelo, só pesos |
|---|---|---|
| FP16 / BF16 | 2 bytes | cerca de 48B parâmetros |
| FP8 | 1 byte | cerca de 96B parâmetros |
| FP4 (nativo na Blackwell) | 0,5 bytes | cerca de 192B parâmetros |
Faturação
| Tarifa | $ 1,89 por hora, faturado ao minuto |
|---|---|
| Faturação | Ao minuto, a partir de um saldo de crédito pré-pago |
| Taxas | Sem taxas de saída de dados |
| Compromisso | Nenhum |
Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.
FAQ
Posso alugar uma RTX PRO 6000 já?
Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.
Como funciona a faturação neste nível?
Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.
Precisa de GPU hoje?
Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Veja como um DGX Spark se compara, ou entre na lista de espera da RTX PRO 6000.