Cloud de GPUs
H100 SXM, dedicada.
Uma única GPU NVIDIA H100 SXM, 80 GB de HBM3 a 3,35 TB/s na arquitetura Hopper, num anfitrião x86. $ 2,69 por hora, faturado ao minuto, nas mesmas condições que todos os outros níveis da GPUwerk.
Alugada por ordem de chegada: implemente uma H100 quando houver capacidade livre, ou entre na respetiva lista de espera na consola.
Especificações
Por nó. Cada instância da GPUwerk, em qualquer nível, é uma máquina inteira só para si.
| GPU | H100 SXM5, arquitetura Hopper |
|---|---|
| Memória | 80 GB HBM3 |
| Largura de banda de memória | 3,35 TB/s |
| Núcleos CUDA | 16.896 |
| Potência máxima | Até 700 W |
| MIG | Até 7 instâncias de 10 GB |
| Alojar | Anfitrião x86 |
| Arrendamento | Um cliente por máquina, nunca partilhada |
Valores de GPU da NVIDIA H100 e do whitepaper da arquitetura H100. A GPUwerk publica valores de tok/s e de débito de treino apenas para execuções no seu próprio hardware. Veja os benchmarks da frota DGX Spark para saber como são reportados.
O que executaria nele?
HBM3 a 3,35 TB/s, para débito mais do que para capacidade.
Serviço de alto débito
Inferência em lote para muitos utilizadores simultâneos, onde a largura de banda HBM define os tokens por segundo.
Treino e fine-tuning
Fine-tunings completos e treinos de modelos que cabem em 80 GB, com FP8 no Transformer Engine.
Modelos até cerca de 70B em FP8
Os pesos de um modelo de 70B cabem, embora reste pouca memória para a cache KV.
Pouco adequado: FP4 nativo e os maiores modelos
A Hopper não tem FP4, e um modelo com mais de cerca de 70B em FP8 precisa de uma H200, de uma GPU Blackwell ou de várias GPUs.
Precisa de várias GPUs ligadas por NVLink? Veja o servidor 8× H100.
O que cabe em 80 GB
Apenas os pesos: memória dividida pelos bytes por parâmetro. Deixe margem para a cache KV, as ativações e o runtime, muitas vezes 10 a 30% a mais.
| Precisão | Por parâmetro | Maior modelo, só pesos |
|---|---|---|
| FP16 / BF16 | 2 bytes | cerca de 40B parâmetros |
| FP8 | 1 byte | cerca de 80B parâmetros |
| Quantizado a 4 bits | 0,5 bytes | cerca de 160B parâmetros (sem FP4 nativo na Hopper; o runtime desquantiza) |
Faturação
| Tarifa | $ 2,69 por hora, faturado ao minuto |
|---|---|
| Faturação | Ao minuto, a partir de um saldo de crédito pré-pago |
| Taxas | Sem taxas de saída de dados |
| Compromisso | Nenhum |
Os preços são em USD, sem impostos aplicáveis. Toda a mecânica de faturação, incluindo o que faz parar versus terminar, está na página de preços.
FAQ
Posso alugar uma H100 já?
Implemente-a a partir da consola quando houver capacidade livre; enquanto não houver, a consola oferece uma lista de espera e as pessoas na fila são avisadas por email uma de cada vez, da mais antiga para a mais recente. A capacidade não fica reservada para ninguém: quem implementar primeiro fica com ela.
Como funciona a faturação neste nível?
Igual a todos os níveis da GPUwerk: ao minuto, a partir de um saldo de crédito pré-pago, em USD, sem impostos aplicáveis, sem taxas de saída de dados e sem compromisso.
Precisa de GPU hoje?
Um DGX Spark tem 128 GB de memória unificada e pode ser alugado já, a $ 0,79/hora faturado ao minuto. Primeiro carregamento: pague $ 20 e receba $ 30 em crédito. Veja como um DGX Spark se compara, ou entre na lista de espera da H100.