GPU Cloud

RTX 6000 Ada, dédiée.

Une machine NVIDIA RTX 6000 Ada Generation mono-GPU, 48 Go de GDDR6 avec ECC sur l'architecture Ada Lovelace, sur un hôte x86. 0,75 $ de l'heure, facturé à la minute, aux mêmes conditions que toutes les autres offres GPUwerk.

Louée au premier arrivé, premier servi : déployez une RTX 6000 Ada quand de la capacité est libre, ou rejoignez sa liste d'attente dans la console.

Caractéristiques

Par nœud. Chaque instance GPUwerk, quelle que soit l'offre, est une machine entière rien que pour vous.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, architecture Ada Lovelace
Mémoire48 Go GDDR6 avec ECC
Bande passante mémoire960 Go/s
Cœurs CUDA18 176
Puissance max.300 W
HébergerHôte x86
OccupationUn client par machine, jamais partagée

Chiffres GPU tirés de NVIDIA RTX 6000 Ada. GPUwerk ne publie de chiffres de tok/s et de débit d'entraînement que pour des tests sur son propre matériel. Voir les benchmarks de la flotte DGX Spark pour la façon dont ils sont présentés.

Que feriez-vous tourner dessus ?

48 Go avec ECC : la même mémoire qu'une L40S, sur une carte de classe station de travail.

Inférence de modèles de taille moyenne

Modèles jusqu'à environ 40B paramètres en FP8, ou un modèle de classe 30B avec de la place pour le cache KV.

Rendu et graphisme

Des RT cores et un pilote de classe station de travail pour le rendu, la simulation ou des pipelines mêlant graphisme et IA.

Fine-tunings LoRA

Entraînement d'adaptateurs sur des modèles de classe 7B à 13B, qui tient dans 48 Go avec de la marge.

Peu adapté : entraînement multi-GPU

Elle n'a pas de NVLink : un job qui a besoin de plusieurs GPU échangeant rapidement des données relève d'un serveur 8 GPU.

Ce qui tient dans 48 Go

Poids seuls : mémoire divisée par les octets par paramètre. Prévoyez de la marge pour le cache KV, les activations et le runtime, souvent 10 à 30 % de plus.

Plus grand modèle, poids seuls, sur une RTX 6000 Ada
PrécisionPar paramètrePlus grand modèle, poids seuls
FP16 / BF162 octetsenviron 24B paramètres
FP81 octetenviron 48B paramètres
Quantifié en 4 bits0,5 octetenviron 96B paramètres (pas de FP4 natif sur Ada ; le runtime déquantifie)

Facturation

Tarif0,75 $ de l'heure, facturé à la minute
FacturationÀ la minute, sur un solde de crédit prépayé
FraisPas de frais de trafic sortant
EngagementAucun

Les prix sont en USD, hors taxes applicables. Le fonctionnement complet de la facturation, y compris l'effet d'un arrêt par rapport à une suppression, est détaillé sur la page des tarifs.

FAQ

Puis-je louer une RTX 6000 Ada dès maintenant ?

Déployez-la depuis la console quand de la capacité est libre ; tant qu'il n'y en a pas, la console propose une liste d'attente et les personnes inscrites sont prévenues par e-mail une à une, de la plus ancienne à la plus récente. La capacité n'est réservée à personne : le premier qui déploie l'obtient.

Comment fonctionne la facturation pour cette offre ?

Comme pour toutes les offres GPUwerk : à la minute, sur un solde de crédit prépayé, en USD, hors taxes applicables, sans frais de trafic sortant et sans engagement.

Besoin de temps GPU aujourd'hui ?

Un DGX Spark dispose de 128 Go de mémoire unifiée et se loue dès maintenant, à 0,79 $/heure facturé à la minute. Première recharge : payez 20 $ recevez 30 $ de crédit. Comparez-le avec la L40S, ou rejoignez la liste d'attente RTX 6000 Ada.