Privat LLM-drift/Jämförelser

Privat LLM-drift, jämfört med de leverantörer som köpare väger den mot.

En dedikerad DGX Spark i EU för 0,79 USD/timme (eller 1,79 USD/timme för ett länkat par) jämfört med hyperscalers, API:er med pris per token, GPU-moln, marknadsplatser och egen hårdvara. Dataplats, vem som kan se dina prompter och var var och en vinner.

Hyperscalers

Andra leverantörer i den här gruppen, på en rad var. Priser anges bara i de fullständiga jämförelserna ovan, där de har kontrollerats mot leverantörens egen sida vid ett angivet datum.

LeverantörHur den skiljer sig från en dedikerad Spark
Amazon SageMakerAmazon SageMakers självhanterade modelldrift: vad var och en faktiskt kör, var datan finns och var var och en vinner.
AWS BedrockAWS Bedrocks hanterade modell-API: dataplats, vem som kan se dina prompter, tok/s och var var och en vinner.
Azure OpenAIAzure OpenAI:s API med pris per token: dataplats, vem som kan se dina prompter, tok/s och var var och en vinner.
Google Cloud TPUGoogle Cloud TPU: NVIDIA:s GPU-hårdvara och CUDA-ekosystemet mot Googles egna tensorprocessorer.
Google Vertex AIGoogle Vertex AI:s Gemini och Model Garden: dataplats, exponering mot CLOUD Act och modeller.
IBM watsonx.aiIBM watsonx.ai:s hanterade modellplattform: styrning och förbrukningsbaserad prissättning jämfört med en dedikerad nod som du har full kontroll över.
Oracle Cloud InfrastructureOracle Cloud Infrastructures GPU-instanser: företagsmoln i stor skala och OCI-krediter mot en maskin till fast pris.

API-leverantörer med pris per token

Andra leverantörer i den här gruppen, på en rad var. Priser anges bara i de fullständiga jämförelserna ovan, där de har kontrollerats mot leverantörens egen sida vid ett angivet datum.

LeverantörHur den skiljer sig från en dedikerad Spark
CerebrasCerebras inferens-API på wafer-skala: en GPU du kontrollerar mot ett hanterat API på egenutvecklat kisel.
Cohere APICohere är ett kanadensiskt företag som säljer ett API för företag med pris per token. Så står sig en dedikerad DGX Spark för 0,79 USD/timme när det gäller datalagringsplats och åtkomst till prompter.
DeepInfraDeepInfras serverlösa API med pris per token: en maskin du konfigurerar mot en endpoint du inte hanterar.
Fireworks AIFireworks AI serverar öppna modeller snabbt på delad infrastruktur. Så står sig en dedikerad DGX Spark för 0,79 USD/timme, en maskin för din modell.
Hugging Face Inference EndpointsHugging Face Inference Endpoints och en DGX Spark för 0,79 USD/timme har båda en enda kund. De skiljer sig i vem som driver maskinen och var den står.
Mistral APIMistrals API finns också i EU. Så står sig en dedikerad DGX Spark för 0,79 USD/timme i en snävare fråga: vem mer som kan läsa dina prompter.
Novita AINovita AI:s GPU-moln och modell-API: en maskin du konfigurerar mot en blandad plattform för beräkning och API.
Perplexity APIPerplexitys API är byggt kring sökning på webben i realtid. En dedikerad DGX Spark för 0,79 USD/timme är en annan produkt: din egen modell, inget hämtningslager.
ReplicateReplicate gör nästan vilken publicerad modell som helst till ett API-anrop på en rad. En dedikerad DGX Spark för 0,79 USD/timme byter den bredden mot en maskin.
SambaNovaSambaNovas hanterade inferens-API på specialkisel: en GPU du kontrollerar mot ett API du anropar.

GPU-moln, marknadsplatser och självhanterade alternativ

Andra leverantörer i den här gruppen, på en rad var. Priser anges bara i de fullständiga jämförelserna ovan, där de har kontrollerats mot leverantörens egen sida vid ett angivet datum.

LeverantörHur den skiljer sig från en dedikerad Spark
Akash NetworkAkash Networks blockkedjebaserade marknadsplats för beräkningskraft: en operatörs maskin mot en pool av oberoende leverantörer.
AnyscaleAnyscales distribuerade Ray-plattform. De hanterar olika arbetslaster; så här avgör du vilken du har.
BasetenBasetens hanterade plattform för modellservering: autoskalande driftsättning mot en maskin du har full kontroll över. Var var och en vinner.
CivoCivos moln med Kubernetes i grunden och GPU-noder: en inferensmaskin mot en plattforms GPU-tillägg.
Crusoe CloudCrusoe Clouds stora GPU-kluster: två produkter för två olika problem, och var var och en passar.
CUDO ComputeCUDO Computes GPU-marknadsplats: vem som driver hårdvaran under ytan, och hur prissättningen står sig.
Databricks Mosaic AIDatabricks Mosaic AI:s plattformspriser: vad var och en faktiskt är, var datan finns och var var och en vinner.
DigitalOcean GPU DropletsDigitalOceans GPU Droplets: en specialbyggd inferensmaskin mot en allmän molnleverantörs GPU-utbud.
ExoscaleExoscales schweiziska och europeiska moln: en inferensmaskin mot ett regionalt moln för allmänt bruk.
FluidStackFluidStacks stora GPU-kluster: en Spark för en privat arbetslast mot ett moln byggt för stor träning.
Fly.io GPUsFly.io:s GPU-maskiner: en specialbyggd inferensmaskin mot en edge-appplattforms GPU-alternativ.
Genesis CloudGenesis Clouds GPU-instanser: vad var och en hyr ut till dig, var hårdvaran står och hur prissättningen står sig.
GMI CloudGMI Clouds H100- och H200-kluster: en dedikerad maskin i EU mot ett GPU-moln byggt för stora kluster.
io.netIo.nets decentraliserade GPU-marknadsplats: en operatörs maskin mot en pool av oberoende operatörer.
JarvisLabsJarvisLabs GPU-instanser med notebooks i centrum, ett utvecklarmoln byggt för enskilda ML-utövare.
Latitude.shLatitude.sh:s bare metal-GPU-servrar: en inferensmaskin mot bare metal som du konfigurerar själv.
Massed ComputeMassed Computes GPU-uthyrning: en enda känd operatör mot ett mindre specialiserat GPU-moln. Var var och en vinner.
ModalModals serverlösa GPU:er: debitering per sekund för ojämnt arbete mot en maskin som förblir på.
NebiusNebius GPU-moln: en dedikerad Spark per kund mot storskalig hyrd GPU-kapacitet.
NscaleNscales europeiska GPU-moln: kapacitet för stora kluster byggd för skala mot en nod för ett team.
OVHcloudOVHclouds GPU-instanser: två EU-alternativ, ett smalt till fast pris och ett brett allmänt moln.
PaperspacePaperspace by DigitalOcean: notebooks och hanterade ML-verktyg mot en dedikerad maskin.
Prime IntellectPrime Intellects distribuerade GPU-marknadsplats: ett företags kända hårdvara mot ett nätverk av beräkningsbidragsgivare.
Render GPURenders GPU-instanser: en specialbyggd inferensmaskin mot en PaaS-leverantörs GPU-tillägg.
Salad (SaladCloud)Salads nätverk av oanvända speldatorer hos konsumenter: en maskin i ett rack i Hradec Králové mot hemdatorer.
självhanterad Ollama på din egen hårdvaraOllama på hårdvara du äger är också helt privat. En dedikerad Spark för 0,79 USD/timme är inte mer privat; den är mindre driftarbete. Här är avvägningen.
ShadeformShadeforms GPU-marknadsplats: en operatörs maskin mot ett lager som dirigerar till många molnleverantörer.
TensorDockTensorDocks GPU-marknadsplats: en maskin till fast pris mot en listning på någon annans hårdvara.
UpCloudUpClouds europeiska molnservrar: allmän beräkningskraft i EU mot en GPU byggd för LLM-inferens.
Voltage ParkVoltage Parks GPU-moln on demand: amerikanska H100-kluster mot en maskin till fast pris som driftas i EU.
Vultr Cloud GPUVultrs Cloud GPU-instanser: en specialbyggd inferensmaskin mot en allmän molnleverantörs GPU-utbud.
Första påfyllningen: betala 20 USD, få 30 USD i kredit

Jämför du en leverantör som inte finns med?

Skicka leverantören och din arbetslast, så säger jag ärligt var en dedikerad Spark passar och var den inte gör det.

Driftsätt nu Ställ en fråga