Privates LLM-Hosting im Vergleich mit den Anbietern, gegen die Käufer es abwägen.

Eine dedizierte EU-DGX Spark für 0,79 $/Stunde (oder 1,79 $/Stunde für ein verbundenes Paar) im Vergleich mit Hyperscalern, Per-Token-APIs, GPU-Clouds, Marktplätzen und eigener Hardware. Datenstandort, wer Ihre Prompts sehen kann und wo jede Option vorn liegt.

Hyperscaler

Weitere Anbieter dieser Gruppe, jeweils in einer Zeile. Preise stehen nur in den ausführlichen Vergleichen oben, wo sie an einem genannten Datum mit der eigenen Seite des Anbieters abgeglichen wurden.

AnbieterUnterschiede zu einer dedizierten Spark
Amazon SageMakerDas selbstverwaltete Modell-Hosting von Amazon SageMaker: was jeweils tatsächlich läuft, wo die Daten liegen und wo jede Option vorn liegt.
AWS BedrockDie verwaltete Modell-API von AWS Bedrock: Datenstandort, wer Ihre Prompts sehen kann, tok/s und wo jede Option vorn liegt.
Azure OpenAIDie Per-Token-API von Azure OpenAI: Datenstandort, wer Ihre Prompts sehen kann, tok/s und wo jede Option vorn liegt.
Google Cloud TPUGoogle Cloud TPU: NVIDIA-GPU-Hardware und das CUDA-Ökosystem gegenüber Googles eigenen Tensor-Processing-Chips.
Google Vertex AIGemini und Model Garden von Google Vertex AI: Datenstandort, Risiko durch den CLOUD Act und Modelle.
IBM watsonx.aiDie verwaltete Modellplattform von IBM watsonx.ai: Governance und verbrauchsbasierte Preise gegenüber einem dedizierten Node, den Sie vollständig kontrollieren.
Oracle Cloud InfrastructureDie GPU-Instanzen von Oracle Cloud Infrastructure: Enterprise-Cloud-Größe und OCI-Credits gegenüber einer Maschine zum festen Satz.

Per-Token-API-Anbieter

Weitere Anbieter dieser Gruppe, jeweils in einer Zeile. Preise stehen nur in den ausführlichen Vergleichen oben, wo sie an einem genannten Datum mit der eigenen Seite des Anbieters abgeglichen wurden.

AnbieterUnterschiede zu einer dedizierten Spark
CerebrasCerebras' Wafer-Scale-Inference-API: eine GPU, die Sie kontrollieren, gegenüber einer verwalteten API auf proprietärem Silizium.
Cohere APICohere ist ein kanadisches Unternehmen, das eine Enterprise-API mit Abrechnung pro Token verkauft. Wie eine dedizierte DGX Spark für 0,79 $/Stunde beim Datenstandort und beim Zugriff auf Prompts abschneidet.
DeepInfraDeepInfras serverlose Per-Token-API: eine Maschine, die Sie konfigurieren, gegenüber einem Endpoint, den Sie nicht verwalten.
Fireworks AIFireworks AI liefert offene Modelle schnell auf geteilter Infrastruktur aus. Wie eine dedizierte DGX Spark für 0,79 $/Stunde, eine Maschine für Ihr Modell, im Vergleich abschneidet.
Hugging Face Inference EndpointsHugging Face Inference Endpoints und eine DGX Spark für 0,79 $/Stunde sind beide Single-Tenant. Sie unterscheiden sich darin, wer die Maschine betreibt und wo sie steht.
Mistral APIMistrals API ist ebenfalls in der EU ansässig. Wie eine dedizierte DGX Spark für 0,79 $/Stunde bei einer engeren Frage abschneidet: Wer kann Ihre Prompts sonst noch lesen?
Novita AIDie GPU-Cloud und Modell-API von Novita AI: eine Maschine, die Sie konfigurieren, gegenüber einer gemischten Plattform aus Rechenleistung und API.
Perplexity APIDie API von Perplexity ist um Live-Websuche herum gebaut. Eine dedizierte DGX Spark für 0,79 $/Stunde ist ein anderes Produkt: Ihr eigenes Modell, keine Retrieval-Schicht.
ReplicateReplicate macht fast jedes veröffentlichte Modell zu einem API-Aufruf in einer Zeile. Eine dedizierte DGX Spark für 0,79 $/Stunde tauscht diese Breite gegen eine Maschine.
SambaNovaSambaNovas verwaltete Inference-API auf eigenem Silizium: eine GPU, über die Sie die Kontrolle haben, gegenüber einer API, die Sie aufrufen.

GPU-Clouds, Marktplätze und selbst verwaltete Alternativen

Weitere Anbieter dieser Gruppe, jeweils in einer Zeile. Preise stehen nur in den ausführlichen Vergleichen oben, wo sie an einem genannten Datum mit der eigenen Seite des Anbieters abgeglichen wurden.

AnbieterUnterschiede zu einer dedizierten Spark
Akash NetworkDer Blockchain-Compute-Marktplatz von Akash Network: die Maschine eines einzelnen Betreibers im Vergleich zu einem Pool unabhängiger Anbieter.
AnyscaleAnyscales verteilte Ray-Plattform. Sie bedienen unterschiedliche Workloads; so erkennen Sie, welchen Sie haben.
BasetenBasetens verwaltete Model-Serving-Plattform: autoskalierendes Deployment gegenüber einer Maschine, die Sie vollständig kontrollieren. Wo jede Option vorn liegt.
CivoCivos Kubernetes-first-Cloud mit GPU-Nodes: eine Inference-Maschine gegenüber dem GPU-Zusatz einer Plattform.
Crusoe CloudDie großen GPU-Cluster von Crusoe Cloud: zwei Produkte für zwei verschiedene Probleme, und wo jedes passt.
CUDO ComputeDer GPU-Marktplatz von CUDO Compute: wer die Hardware darunter betreibt und wie sich die Preise vergleichen.
Databricks Mosaic AIDie Plattformpreise von Databricks Mosaic AI: was jeweils tatsächlich dahintersteckt, wo die Daten liegen und wo jede Option vorn liegt.
DigitalOcean GPU DropletsDigitalOceans GPU Droplets: eine zweckgebaute Inference-Maschine gegenüber der GPU-Linie eines allgemeinen Cloud-Anbieters.
ExoscaleExoscales Schweizer und europäische Cloud: eine Inference-Maschine gegenüber einer regionalen Allzweck-Cloud.
FluidStackDie großen GPU-Cluster von FluidStack: eine Spark für einen privaten Workload gegenüber einer Cloud, die für großes Training gebaut ist.
Fly.io GPUsDie GPU-Maschinen von Fly.io: eine zweckgebaute Inference-Maschine gegenüber der GPU-Option einer Edge-App-Plattform.
Genesis CloudDie GPU-Instanzen von Genesis Cloud: was jeweils gemietet wird, wo die Hardware steht und wie sich die Preise vergleichen.
GMI CloudDie H100- und H200-Cluster von GMI Cloud: eine dedizierte EU-Maschine gegenüber einer GPU-Cloud, die für große Cluster gebaut ist.
io.netDer dezentrale GPU-Marktplatz von io.net: die Maschine eines Betreibers gegenüber einem Pool unabhängiger Betreiber.
JarvisLabsDie notebookzentrierten GPU-Instanzen von JarvisLabs, eine Entwickler-Cloud für einzelne ML-Praktiker.
Latitude.shDie Bare-Metal-GPU-Server von Latitude.sh: eine Inference-Maschine gegenüber Bare Metal, das Sie selbst konfigurieren.
Massed ComputeDie GPU-Miete von Massed Compute: ein einzelner bekannter Betreiber gegenüber einer kleineren spezialisierten GPU-Cloud. Wo jede Option vorn liegt.
ModalDie serverlosen GPUs von Modal: sekundengenaue Abrechnung für Lastspitzen gegenüber einer Maschine, die eingeschaltet bleibt.
NebiusDie GPU-Cloud von Nebius: eine dedizierte Spark pro Mandant gegenüber gemieteter GPU-Kapazität im großen Maßstab.
NscaleDie europäische GPU-Cloud von Nscale: Kapazität für große Cluster, gebaut für Skalierung, gegenüber einem Node für ein Team.
OVHcloudDie GPU-Instanzen von OVHcloud: zwei EU-Optionen, eine schmal und zum Festpreis, eine breite Allzweck-Cloud.
PaperspacePaperspace von DigitalOcean: Notebooks und verwaltete ML-Tools gegenüber einer dedizierten Maschine.
Prime IntellectDer verteilte GPU-Marktplatz von Prime Intellect: bekannte Hardware eines Unternehmens gegenüber einem Netzwerk von Rechenleistungsanbietern.
Render GPUDie GPU-Instanzen von Render: eine zweckgebaute Inference-Maschine gegenüber dem GPU-Zusatz eines PaaS-Anbieters.
Salad (SaladCloud)Salads Netzwerk ungenutzter Gaming-PCs: eine Maschine in einem Rack in Hradec Králové gegenüber Heimrechnern.
Ollama selbst auf eigener Hardware verwaltenOllama auf eigener Hardware ist ebenfalls vollständig privat. Eine dedizierte Spark für 0,79 $/Stunde ist nicht privater; sie macht weniger Betriebsaufwand. Hier ist die Abwägung.
ShadeformDer GPU-Marktplatz von Shadeform: die Maschine eines Betreibers gegenüber einer Schicht, die an viele Cloud-Anbieter weiterleitet.
TensorDockDer GPU-Marktplatz von TensorDock: eine Maschine zum festen Satz gegenüber einem Eintrag auf der Hardware eines anderen.
UpCloudDie europäischen Cloud-Server von UpCloud: allgemeine EU-Rechenleistung gegenüber einer GPU, die für LLM-Inference gebaut ist.
Voltage ParkDie On-Demand-GPU-Cloud von Voltage Park: US-basierte H100-Cluster gegenüber einer in der EU gehosteten Maschine zum festen Satz.
Vultr Cloud GPUDie Cloud-GPU-Instanzen von Vultr: eine zweckgebaute Inference-Maschine gegenüber der GPU-Linie eines allgemeinen Cloud-Anbieters.
Erste Aufladung: Sie zahlen 20 $ und erhalten 30 $ Guthaben

Sie vergleichen einen Anbieter, der hier nicht aufgeführt ist?

Nennen Sie den Anbieter und Ihren Workload, und ich sage Ihnen ehrlich, wo eine dedizierte Spark passt und wo nicht.

Jetzt bereitstellen Frage stellen