Cloud de GPUs

RTX PRO 6000, dedicada.

Uma máquina com uma GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB de GDDR7 com ECC na arquitetura Blackwell, num anfitrião x86. $ 1,89 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.

Alugada por ordem de chegada: implemente uma RTX PRO 6000 quando houver capacidade livre, ou entre na respetiva lista de espera na consola.

Especificações

Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, arquitetura Blackwell
Memória96 GB GDDR7 com ECC
Largura de banda de memória1597 GB/s
Núcleos CUDA24.064
Potência máximaAté 600 W, configurável
MIGAté 4 instâncias de 24 GB
AlojarAnfitrião x86
ArrendamentoUm cliente por máquina, nunca partilhada

Valores de GPU da NVIDIA RTX PRO 6000 Blackwell Server Edition. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.

O que executaria nele?

96 GB numa só placa, com Tensor Cores de quinta geração que executam FP4.

Modelos da classe 70B numa só GPU

Um modelo de 70B em FP8 cabe em 96 GB com algum espaço para a cache KV, sem o dividir por várias GPUs.

Inferência FP4

A Blackwell executa FP4 nativamente, por isso um modelo de 4 bits até cerca de 192B parâmetros cabe, considerando apenas os pesos.

Gráficos e IA numa só placa

RT cores e um grande frame buffer para renderização ou simulação a par do trabalho com modelos.

Pouco adequado: treino multi-GPU

Não tem NVLink, por isso um trabalho que precise de várias GPUs a trocar dados rapidamente pertence a um servidor de 8 GPUs.

Vários trabalhos mais pequenos

O MIG divide a placa em até quatro GPUs isoladas de 24 GB, para servir mais do que um modelo ao mesmo tempo.

O que cabe em 96 GB

Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.

Maior modelo, considerando só os pesos, numa RTX PRO 6000
PrecisãoPor parâmetroMaior modelo, só pesos
FP16 / BF162 bytescerca de 48B parâmetros
FP81 bytecerca de 96B parâmetros
FP4 (nativo na Blackwell)0,5 bytescerca de 192B parâmetros

Faturação

Tarifa$ 1,89 por hora, faturado ao minuto
FaturaçãoAo minuto, a partir de um saldo de crédito pré-pago
TaxasSem taxas de saída de dados
CompromissoNenhum

Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.

FAQ

Posso alugar uma RTX PRO 6000 já?

Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.

Como funciona a faturação neste nível?

Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.

Precisa de GPU hoje?

Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Veja como um DGX Spark se compara, ou entre na lista de espera da RTX PRO 6000.