Privat LLM-hosting/Sammenligninger

Privat LLM-hosting, sammenlignet med leverandørene kjøpere vurderer den opp mot.

En dedikert DGX Spark i EU for 0 $,79/time (eller 1 $,79/time for et koblet par) mot hyperskalerere, API-er med betaling per token, GPU-skyer, markedsplasser og egen maskinvare. Datalokasjon, hvem som kan se promptene dine, og hvor hver av dem vinner.

Hyperskalerere

Andre leverandører i denne gruppen, med én linje hver. Priser oppgis bare i de fullstendige sammenligningene ovenfor, der de ble kontrollert mot leverandørens egen side på en oppgitt dato.

LeverandørSlik skiller den seg fra en dedikert Spark
Amazon SageMakerAmazon SageMakers selvadministrerte modellhosting: hva hver av dem faktisk kjører, hvor dataene ligger, og hvor hver av dem vinner.
AWS BedrockAWS Bedrocks administrerte modell-API: datalokasjon, hvem som kan se promptene dine, tok/s, og hvor hver av dem vinner.
Azure OpenAIAzure OpenAIs API med betaling per token: datalokasjon, hvem som kan se promptene dine, tok/s, og hvor hver av dem vinner.
Google Cloud TPUGoogle Cloud TPU: NVIDIA GPU-maskinvare og CUDA-økosystemet mot Googles egne tensorprosessorbrikker.
Google Vertex AIGemini og Model Garden i Google Vertex AI: datalokasjon, eksponering for CLOUD Act og modeller.
IBM watsonx.aiIBM watsonx.ai sin administrerte modellplattform: styring og forbruksbasert prising mot en dedikert node du har full kontroll over.
Oracle Cloud InfrastructureGPU-instanser i Oracle Cloud Infrastructure: skala i en bedriftssky og OCI-kreditt mot én maskin med fast pris.

API-leverandører med betaling per token

Andre leverandører i denne gruppen, med én linje hver. Priser oppgis bare i de fullstendige sammenligningene ovenfor, der de ble kontrollert mot leverandørens egen side på en oppgitt dato.

LeverandørSlik skiller den seg fra en dedikert Spark
CerebrasCerebras' API for inferens på hele silisiumskiver: en GPU du kontrollerer mot et administrert API på proprietær maskinvare.
Cohere APICohere er et kanadisk selskap som selger et bedrifts-API med betaling per token. Slik står en dedikert DGX Spark til 0 $,79/time seg når det gjelder datalokalisering og tilgang til prompter.
DeepInfraDeepInfras serverløse API med betaling per token: en maskin du konfigurerer mot et endepunkt du ikke administrerer.
Fireworks AIFireworks AI serverer åpne modeller raskt på delt infrastruktur. Slik står en dedikert DGX Spark til 0 $,79/time, én maskin for modellen din, seg i sammenligning.
Hugging Face Inference EndpointsHugging Face Inference Endpoints og en DGX Spark til 0 $,79/time har begge én leietaker. De skiller seg i hvem som driver maskinen og hvor den står.
Mistral APIMistrals API er også basert i EU. Slik står en dedikert DGX Spark til 0 $,79/time seg på et smalere spørsmål: hvem andre som kan lese promptene dine.
Novita AINovita AIs GPU-sky og modell-API: en maskin du konfigurerer mot en blandet plattform for regnekraft og API.
Perplexity APIPerplexitys API er bygd rundt live nettsøk. En dedikert DGX Spark til 0 $,79/time er et annet produkt: din egen modell, uten søkelag.
ReplicateReplicate gjør nesten alle publiserte modeller til et API-kall på én linje. En dedikert DGX Spark til 0 $,79/time bytter den bredden mot én maskin.
SambaNovaSambaNovas administrerte inferens-API på spesialbygd silisium: en GPU du kontrollerer mot et API du kaller.

GPU-skyer, markedsplasser og selvadministrerte alternativer

Andre leverandører i denne gruppen, med én linje hver. Priser oppgis bare i de fullstendige sammenligningene ovenfor, der de ble kontrollert mot leverandørens egen side på en oppgitt dato.

LeverandørSlik skiller den seg fra en dedikert Spark
Akash NetworkAkash Networks blokkjedebaserte markedsplass for regnekraft: én operatørs maskin mot en pool av uavhengige leverandører.
AnyscaleAnyscales distribuerte Ray-plattform. De betjener ulike arbeidslaster; slik finner du ut hvilken du har.
BasetenBasetens administrerte plattform for modellinferens: autoskalerende deployering mot en maskin du har full kontroll over. Hvor hver av dem vinner.
CivoCivos Kubernetes-baserte sky med GPU-noder: én inferensmaskin mot en plattforms GPU-tillegg.
Crusoe CloudCrusoe Clouds store GPU-klynger: to produkter for to ulike problemer, og hvor hvert av dem passer.
CUDO ComputeCUDO Computes GPU-markedsplass: hvem som driver maskinvaren under, og hvordan prisene står seg.
Databricks Mosaic AIPrisene på Databricks Mosaic AI-plattformen: hva hver av dem faktisk er, hvor dataene ligger, og hvor hver av dem vinner.
DigitalOcean GPU DropletsDigitalOceans GPU Droplets: en spesialbygd inferensmaskin mot GPU-tilbudet til en generell skyleverandør.
ExoscaleExoscales sveitsiske og europeiske sky: en inferensmaskin mot en regional sky for generell bruk.
FluidStackFluidStacks store GPU-klynger: én Spark for en privat arbeidslast mot en sky bygd for stor trening.
Fly.io GPUsFly.io sine GPU-maskiner: en spesialbygd inferensmaskin mot GPU-alternativet til en plattform for edge-apper.
Genesis CloudGenesis Clouds GPU-instanser: hva hver av dem leier deg, hvor maskinvaren står, og hvordan prisene står seg.
GMI CloudGMI Clouds H100- og H200-klynger: én dedikert maskin i EU mot en GPU-sky bygd for store klynger.
io.netIo.nets desentraliserte GPU-markedsplass: én operatørs maskin mot en pool av uavhengige operatører.
JarvisLabsJarvisLabs' notebook-orienterte GPU-instanser, en utviklersky laget for enkeltpersoner som jobber med ML.
Latitude.shLatitude.sh sine bare metal GPU-servere: en inferensmaskin mot bare metal du konfigurerer selv.
Massed ComputeGPU-leie hos Massed Compute: én kjent operatør mot en mindre, spesialisert GPU-sky. Hvor hver av dem vinner.
ModalModals serverløse GPU-er: fakturering per sekund for arbeid som kommer i støt, mot en maskin som står på.
NebiusNebius' GPU-sky: én dedikert Spark per leietaker mot leid GPU-kapasitet i stor skala.
NscaleNscales europeiske GPU-sky: kapasitet med store klynger bygd for skala mot én node for ett team.
OVHcloudOVHclouds GPU-instanser: to alternativer i EU, ett smalt og med fast pris, ett en bred generell sky.
PaperspacePaperspace fra DigitalOcean: notebooks og administrerte ML-verktøy mot en dedikert maskin.
Prime IntellectPrime Intellects distribuerte GPU-markedsplass: ett selskaps kjente maskinvare mot et nettverk av bidragsytere av regnekraft.
Render GPURenders GPU-instanser: en spesialbygd inferensmaskin mot GPU-tillegget til en PaaS-leverandør.
Salad (SaladCloud)Salads nettverk av ubrukte spill-PC-er hos forbrukere: en maskin i et rack i Hradec Králové mot maskiner i private hjem.
egen drift av Ollama på din egen maskinvareOllama på maskinvare du eier, er også helt privat. En dedikert Spark til 0 $,79/time er ikke mer privat; det er mindre driftsarbeid. Her er avveiningen.
ShadeformShadeforms GPU-markedsplass: én operatørs maskin mot et lag som ruter til mange skyleverandører.
TensorDockTensorDocks GPU-markedsplass: én maskin med fast pris mot en oppføring på noen andres maskinvare.
UpCloudUpClouds europeiske skyservere: generell regnekraft i EU mot en GPU bygd for LLM-inferens.
Voltage ParkVoltage Parks on-demand-GPU-sky: H100-klynger i USA mot én maskin med fast pris driftet i EU.
Vultr Cloud GPUVultrs Cloud GPU-instanser: en spesialbygd inferensmaskin mot GPU-tilbudet til en generell skyleverandør.
Første påfylling: betal 20 $, få 30 $ i kreditt

Sammenligner du en leverandør som ikke er oppført?

Send meg leverandøren og arbeidslasten din, så forteller jeg deg ærlig hvor en dedikert Spark passer og hvor den ikke gjør det.

Deploy nå Still et spørsmål