Privat LLM-hosting/Sammenligninger

Privat LLM-hosting sammenlignet med de udbydere, købere vejer den op imod.

En dedikeret DGX Spark i EU til 0 $,79/time (eller 1 $,79/time for et forbundet par) sammenlignet med hyperscalere, API'er med betaling pr. token, GPU-clouds, markedspladser og egen hardware. Dataplacering, hvem der kan se dine prompts, og hvor hver enkelt vinder.

Hyperscalere

Andre udbydere i denne gruppe på én linje hver. Priser angives kun i de fulde sammenligninger ovenfor, hvor de er tjekket mod udbyderens egen side på en angivet dato.

UdbyderSådan adskiller den sig fra en dedikeret Spark
Amazon SageMakerAmazon SageMakers selvadministrerede modelhosting: hvad hver enkelt reelt kører, hvor data ligger, og hvor hver enkelt vinder.
AWS BedrockAWS Bedrocks administrerede model-API: dataplacering, hvem der kan se dine prompts, tok/s, og hvor hver enkelt vinder.
Azure OpenAIAzure OpenAI's API med betaling pr. token: dataplacering, hvem der kan se dine prompts, tok/s, og hvor hver enkelt vinder.
Google Cloud TPUGoogle Cloud TPU: NVIDIA GPU-hardware og CUDA-økosystemet mod Googles egne tensorprocessorchips.
Google Vertex AIGoogle Vertex AI's Gemini og Model Garden: dataplacering, eksponering for CLOUD Act og modeller.
IBM watsonx.aiIBM watsonx.ai's administrerede modelplatform: governance og forbrugsbaserede priser mod en dedikeret node, du har fuld kontrol over.
Oracle Cloud InfrastructureOracle Cloud Infrastructures GPU-instanser: enterprise-cloud i stor skala og OCI-kreditter mod én maskine til fast takst.

API-udbydere med betaling pr. token

Andre udbydere i denne gruppe på én linje hver. Priser angives kun i de fulde sammenligninger ovenfor, hvor de er tjekket mod udbyderens egen side på en angivet dato.

UdbyderSådan adskiller den sig fra en dedikeret Spark
CerebrasCerebras' wafer-scale inferens-API: en GPU, du styrer, mod en administreret API på proprietært silicium.
Cohere APICohere er en canadisk virksomhed, der sælger en enterprise-API med betaling pr. token. Sådan klarer en dedikeret DGX Spark til 0 $,79/time sig på dataplacering og adgang til prompts.
DeepInfraDeepInfras serverless API med betaling pr. token: en maskine, du konfigurerer, mod et endpoint, du ikke administrerer.
Fireworks AIFireworks AI serverer åbne modeller hurtigt på delt infrastruktur. Sådan klarer en dedikeret DGX Spark til 0 $,79/time, én maskine til din model, sig i sammenligning.
Hugging Face Inference EndpointsHugging Face Inference Endpoints og en DGX Spark til 0 $,79/time har begge kun én lejer. De adskiller sig i, hvem der driver maskinen, og hvor den står.
Mistral APIMistrals API er også EU-baseret. Sådan klarer en dedikeret DGX Spark til 0 $,79/time sig på et snævrere spørgsmål: hvem der ellers kan læse dine prompts.
Novita AINovita AI's GPU-cloud og model-API: en maskine, du konfigurerer, mod en blandet platform med regnekraft og API.
Perplexity APIPerplexitys API er bygget omkring live websøgning. En dedikeret DGX Spark til 0 $,79/time er et andet produkt: din egen model, intet retrieval-lag.
ReplicateReplicate gør næsten enhver offentliggjort model til et API-kald på én linje. En dedikeret DGX Spark til 0 $,79/time bytter den bredde for én maskine.
SambaNovaSambaNovas administrerede inferens-API på specialsilicium: en GPU, du styrer, mod en API, du kalder.

GPU-clouds, markedspladser og selvadministrerede alternativer

Andre udbydere i denne gruppe på én linje hver. Priser angives kun i de fulde sammenligninger ovenfor, hvor de er tjekket mod udbyderens egen side på en angivet dato.

UdbyderSådan adskiller den sig fra en dedikeret Spark
Akash NetworkAkash Networks blockchain-markedsplads for regnekraft: én operatørs maskine mod en pulje af uafhængige udbydere.
AnyscaleAnyscales distribuerede Ray-platform. De betjener forskellige workloads; her er, hvordan du finder ud af, hvilken du har.
BasetenBasetens administrerede platform til model-serving: autoskalerende udrulning mod en maskine, du har fuld kontrol over. Hvor hver enkelt vinder.
CivoCivos Kubernetes-baserede cloud med GPU-noder: én inferensmaskine mod en platforms GPU-tilvalg.
Crusoe CloudCrusoe Clouds store GPU-klynger: to produkter til to forskellige problemer, og hvor hvert passer.
CUDO ComputeCUDO Computes GPU-markedsplads: hvem der driver hardwaren nedenunder, og hvordan priserne står sig.
Databricks Mosaic AIDatabricks Mosaic AI's platformpriser: hvad hver enkelt reelt er, hvor data ligger, og hvor hver enkelt vinder.
DigitalOcean GPU DropletsDigitalOceans GPU Droplets: en specialbygget inferensmaskine mod en generel cloududbyders GPU-linje.
ExoscaleExoscales schweiziske og europæiske cloud: en inferensmaskine mod en regional cloud til generelle formål.
FluidStackFluidStacks store GPU-klynger: én Spark til et privat workload mod en cloud bygget til stor træning.
Fly.io GPUsFly.io's GPU-maskiner: en specialbygget inferensmaskine mod en edge-app-platforms GPU-mulighed.
Genesis CloudGenesis Clouds GPU-instanser: hvad hver enkelt udlejer til dig, hvor hardwaren står, og hvordan priserne står sig.
GMI CloudGMI Clouds H100- og H200-klynger: én dedikeret maskine i EU mod en GPU-cloud bygget til store klynger.
io.netIo.net's decentraliserede GPU-markedsplads: én operatørs maskine mod en pulje af uafhængige operatører.
JarvisLabsJarvisLabs' notebook-først-GPU-instanser, en udviklercloud bygget til den enkelte ML-praktiker.
Latitude.shLatitude.sh's bare metal-GPU-servere: en inferensmaskine mod bare metal, du selv konfigurerer.
Massed ComputeMassed Computes GPU-leje: én kendt operatør mod en mindre specialiseret GPU-cloud. Hvor hver enkelt vinder.
ModalModals serverless GPU'er: fakturering pr. sekund til arbejde i spidsbelastninger mod en maskine, der forbliver tændt.
NebiusNebius' GPU-cloud: én dedikeret Spark pr. lejer mod lejet GPU-kapacitet i stor skala.
NscaleNscales europæiske GPU-cloud: kapacitet i store klynger bygget til skala mod én node til ét team.
OVHcloudOVHclouds GPU-instanser: to EU-muligheder, den ene snæver og til fast pris, den anden en bred generel cloud.
PaperspacePaperspace by DigitalOcean: notebooks og administrerede ML-værktøjer mod en dedikeret maskine.
Prime IntellectPrime Intellects distribuerede GPU-markedsplads: én virksomheds kendte hardware mod et netværk af bidragydere af regnekraft.
Render GPURenders GPU-instanser: en specialbygget inferensmaskine mod en PaaS-udbyders GPU-tilvalg.
Salad (SaladCloud)Salads netværk af ubrugte gaming-pc'er: en maskine i et rack i Hradec Králové mod maskiner i private hjem.
selvadministreret Ollama på din egen hardwareOllama på hardware, du ejer, er også helt privat. En dedikeret Spark til 0 $,79/time er ikke mere privat; den er mindre driftsarbejde. Her er afvejningen.
ShadeformShadeforms GPU-markedsplads: én operatørs maskine mod et lag, der dirigerer til mange cloududbydere.
TensorDockTensorDocks GPU-markedsplads: én maskine til fast takst mod en annonce på en andens hardware.
UpCloudUpClouds europæiske cloudservere: generel regnekraft i EU mod en GPU bygget til LLM-inferens.
Voltage ParkVoltage Parks on-demand-GPU-cloud: amerikanske H100-klynger mod én maskine til fast takst hostet i EU.
Vultr Cloud GPUVultrs Cloud GPU-instanser: en specialbygget inferensmaskine mod en generel cloududbyders GPU-linje.
Første optankning: betal 20 $, få 30 $ i kredit

Sammenligner du en udbyder, der ikke er på listen?

Send udbyderen og dit workload, så fortæller jeg dig ærligt, hvor en dedikeret Spark passer, og hvor den ikke gør.

Udrul nu Stil et spørgsmål