Privāta LLM mitināšana salīdzinājumā ar pakalpojumu sniedzējiem, kurus pircēji izvērtē līdzās.

Atsevišķs DGX Spark ES par 0,79 $/stundā (vai 1,79 $/stundā par savienotu pāri) salīdzinājumā ar lielajiem mākoņpakalpojumu sniedzējiem, API ar maksu par tokenu, GPU mākoņiem, tirgus platformām un savas aparatūras darbināšanu. Datu atrašanās vieta, kas var redzēt jūsu promptus un kur katrs variants uzvar.

Lielie mākoņpakalpojumu sniedzēji

Citi šīs grupas pakalpojumu sniedzēji, katrs vienā rindā. Cenas ir norādītas tikai pilnajos salīdzinājumos augstāk, kur tās pārbaudītas pēc pakalpojumu sniedzēja lapas norādītajā datumā.

Pakalpojumu sniedzējsKā tas atšķiras no atsevišķa Spark
Amazon SageMakerAmazon SageMaker pašpārvaldītā modeļu mitināšana: ko katrs patiesībā darbina, kur atrodas dati un kur katrs uzvar.
AWS BedrockAWS Bedrock pārvaldītais modeļu API: datu atrašanās vieta, kas var redzēt jūsu promptus, tok/s un kur katrs uzvar.
Azure OpenAIAzure OpenAI API ar maksu par tokenu: datu atrašanās vieta, kas var redzēt jūsu promptus, tok/s un kur katrs uzvar.
Google Cloud TPUGoogle Cloud TPU: NVIDIA GPU aparatūra un CUDA ekosistēma salīdzinājumā ar Google pašu tenzoru apstrādes mikroshēmām.
Google Vertex AIGoogle Vertex AI Gemini un Model Garden: datu atrašanās vieta, CLOUD Act risks un modeļi.
IBM watsonx.aiIBM watsonx.ai pārvaldītā modeļu platforma: pārvaldība un cenas pēc patēriņa salīdzinājumā ar atsevišķu mezglu, ko pilnībā kontrolējat jūs.
Oracle Cloud InfrastructureOracle Cloud Infrastructure GPU instances: uzņēmumu mākoņa mērogs un OCI kredīti salīdzinājumā ar vienu iekārtu ar fiksētu likmi.

API sniedzēji ar maksu par tokenu

Citi šīs grupas pakalpojumu sniedzēji, katrs vienā rindā. Cenas ir norādītas tikai pilnajos salīdzinājumos augstāk, kur tās pārbaudītas pēc pakalpojumu sniedzēja lapas norādītajā datumā.

Pakalpojumu sniedzējsKā tas atšķiras no atsevišķa Spark
CerebrasCerebras plāksnes mēroga inferences API: GPU, ko kontrolējat jūs, salīdzinājumā ar pārvaldītu API uz patentētas mikroshēmas.
Cohere APICohere ir Kanādas uzņēmums, kas pārdod uzņēmumu API ar maksu par tokenu. Kā atsevišķs DGX Spark par 0,79 $/stundā salīdzināms datu atrašanās vietas un piekļuves promptiem ziņā.
DeepInfraDeepInfra bezservera API ar maksu par tokenu: iekārta, ko konfigurējat jūs, salīdzinājumā ar galapunktu, ko nepārvaldāt.
Fireworks AIFireworks AI ātri apkalpo atvērtus modeļus koplietotā infrastruktūrā. Kā salīdzināms atsevišķs DGX Spark par 0,79 $/stundā, viena iekārta jūsu modelim.
Hugging Face Inference EndpointsHugging Face Inference Endpoints un DGX Spark par 0,79 $/stundā abi ir paredzēti vienam nomniekam. Tie atšķiras ar to, kas darbina iekārtu un kur tā atrodas.
Mistral APIArī Mistral API ir bāzēts ES. Kā atsevišķs DGX Spark par 0,79 $/stundā salīdzināms šaurākā jautājumā: kas vēl var lasīt jūsu promptus.
Novita AINovita AI GPU mākonis un modeļu API: iekārta, ko konfigurējat jūs, salīdzinājumā ar jauktu skaitļošanas un API platformu.
Perplexity APIPerplexity API ir veidots ap reāllaika tīmekļa meklēšanu. Atsevišķs DGX Spark par 0,79 $/stundā ir cits produkts: jūsu pašu modelis bez izguves slāņa.
ReplicateReplicate gandrīz jebkuru publicētu modeli padara par vienas rindiņas API izsaukumu. Atsevišķs DGX Spark par 0,79 $/stundā šo plašumu iemaina pret vienu iekārtu.
SambaNovaSambaNova pārvaldītais inferences API uz pielāgotas mikroshēmas: GPU, ko kontrolējat jūs, salīdzinājumā ar API, ko izsaucat.

GPU mākoņi, tirgus platformas un pašpārvaldītas alternatīvas

Citi šīs grupas pakalpojumu sniedzēji, katrs vienā rindā. Cenas ir norādītas tikai pilnajos salīdzinājumos augstāk, kur tās pārbaudītas pēc pakalpojumu sniedzēja lapas norādītajā datumā.

Pakalpojumu sniedzējsKā tas atšķiras no atsevišķa Spark
Akash NetworkAkash Network blokķēdes skaitļošanas tirgus: viena operatora iekārta salīdzinājumā ar neatkarīgu pakalpojumu sniedzēju kopu.
AnyscaleAnyscale izkliedētā Ray platforma. Tās apkalpo dažādas darba slodzes; lūk, kā noteikt, kura ir jums.
BasetenBaseten pārvaldītā modeļu apkalpošanas platforma: automātiski mērogojams izvietojums salīdzinājumā ar iekārtu, ko pilnībā kontrolējat jūs. Kurā ziņā katrs ir labāks.
CivoCivo uz Kubernetes balstītais mākonis ar GPU mezgliem: viena inferences iekārta salīdzinājumā ar platformas GPU papildinājumu.
Crusoe CloudCrusoe Cloud lielie GPU klasteri: divi produkti divām dažādām problēmām, un kur katrs der.
CUDO ComputeCUDO Compute GPU tirgus: kas darbina aparatūru zem tā un kā salīdzināmas cenas.
Databricks Mosaic AIDatabricks Mosaic AI platformas cenas: kas katrs patiesībā ir, kur atrodas dati un kur katrs uzvar.
DigitalOcean GPU DropletsDigitalOcean GPU Droplets: speciāli inferencei veidota iekārta salīdzinājumā ar vispārēja mākoņpakalpojumu sniedzēja GPU līniju.
ExoscaleExoscale Šveices un Eiropas mākonis: inferences iekārta salīdzinājumā ar vispārēja lietojuma reģionālu mākoni.
FluidStackFluidStack lielie GPU klasteri: viens Spark privātai darba slodzei salīdzinājumā ar mākoni, kas veidots lielai apmācībai.
Fly.io GPUFly.io GPU iekārtas: speciāli inferencei veidota iekārta salīdzinājumā ar edge lietotņu platformas GPU iespēju.
Genesis CloudGenesis Cloud GPU instances: ko katrs jums iznomā, kur atrodas aparatūra un kā salīdzināmas cenas.
GMI CloudGMI Cloud H100 un H200 klasteri: viena atsevišķa ES iekārta salīdzinājumā ar GPU mākoni, kas veidots lieliem klasteriem.
io.netIo.net decentralizētais GPU tirgus: viena operatora iekārta salīdzinājumā ar neatkarīgu operatoru kopu.
JarvisLabsJarvisLabs uz piezīmju grāmatiņām balstītās GPU instances, izstrādātāju mākonis, kas veidots individuāliem ML praktiķiem.
Latitude.shLatitude.sh fiziskie GPU serveri: inferences iekārta salīdzinājumā ar fizisku serveri, ko konfigurējat paši.
Massed ComputeMassed Compute GPU noma: viens zināms operators salīdzinājumā ar mazāku specializētu GPU mākoni. Kurā ziņā katrs ir labāks.
ModalModal bezservera GPU: maksa par sekundi neregulāram darbam salīdzinājumā ar iekārtu, kas paliek ieslēgta.
NebiusNebius GPU mākonis: viens atsevišķs Spark katram nomniekam salīdzinājumā ar liela mēroga nomātu GPU jaudu.
NscaleNscale Eiropas GPU mākonis: liela mēroga klasteru jauda salīdzinājumā ar vienu mezglu vienai komandai.
OVHcloudOVHcloud GPU instances: divas ES iespējas, viena šaura un ar fiksētu cenu, otra plašs vispārējs mākonis.
PaperspacePaperspace by DigitalOcean: Jupyter piezīmjgrāmatas un pārvaldīti ML rīki pretstatā iekārtai, kas ir tikai jūsu rīcībā.
Prime IntellectPrime Intellect izkliedētais GPU tirgus: viena uzņēmuma zināma aparatūra salīdzinājumā ar skaitļošanas jaudas sniedzēju tīklu.
Render GPURender GPU instances: speciāli inferencei veidota iekārta salīdzinājumā ar PaaS pakalpojumu sniedzēja GPU papildinājumu.
Salad (SaladCloud)Salad dīkstāvē esošu patērētāju spēļu datoru tīkls: iekārta statnē Hradecā Krālovē salīdzinājumā ar mājas iekārtām.
pašpārvaldīts Ollama jūsu pašu aparatūrāOllama jums piederošā aparatūrā arī ir pilnībā privāts. Atsevišķs Spark par 0,79 $/stundā nav privātāks; tas prasa mazāk darbības darba. Lūk, kompromiss.
ShadeformShadeform GPU tirgus: viena operatora iekārta salīdzinājumā ar slāni, kas maršrutē uz daudziem mākoņpakalpojumu sniedzējiem.
TensorDockTensorDock GPU tirgus: viena iekārta ar fiksētu likmi salīdzinājumā ar piedāvājumu kāda cita aparatūrā.
UpCloudUpCloud Eiropas mākoņa serveri: vispārēja lietojuma ES skaitļošana salīdzinājumā ar GPU, kas veidots LLM inferencei.
Voltage ParkVoltage Park GPU mākonis pēc pieprasījuma: ASV bāzēti H100 klasteri salīdzinājumā ar vienu ES mitinātu iekārtu ar fiksētu likmi.
Vultr Cloud GPUVultr Cloud GPU instances: speciāli inferencei veidota iekārta salīdzinājumā ar vispārēja mākoņpakalpojumu sniedzēja GPU līniju.
Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā

Salīdzināt pakalpojumu sniedzēju, kas nav sarakstā?

Nosūtiet pakalpojumu sniedzēju un savu darba slodzi, un es godīgi pateikšu, kur atsevišķs Spark der un kur ne.

Izvietot tagad Uzdot jautājumu