Privāta LLM mitināšana reģionā EU-Central
Jūsu modeļi. Jūsu dati. Viens nomnieks: jūs.
Privāta LLM mitināšana veselās atsevišķās iekārtās reģionā EU-Central. Jūsu dati tiek apstrādāti ES, nekad netiek izmantoti apmācībai, un neviens cits klients nekad nepieskaras jūsu GPU.
0,79 $/stundā, maksa par katru minūti · samaksājiet 20 $, saņemiet 30 $ kredītā par pirmo papildināšanu
Īsumā.
Viens nomnieks vienā iekārtā
Vesela iekārta, atvēlēta tikai jums. Nekādu koplietotu GPU.
Darba slodžu apakšapstrādātāji
GPUwerk pašu līmeņos. Apakšapstrādātāju saraksts ir īss: instanču darba slodzēm tur to nav; Partner līmenis darbojas pie partnera mitinātāja.
VDAR datu apstrādes līgums
Publicēts vietnē /legal/dpa, bez maksas.
Trīs bažas
Trīs bažas un atbildes uz tām.
Katrs uzņēmums, ar kuru runāju, nāk ar tām pašām trim bažām. Lūk, kā tieši katra no tām tiek risināta.
"Mūsu dati atstāj ES"
Nemaina. Aparatūra fiziski atrodas reģionā EU-Central, un to darbina PRINT IT! SE, Prāgā reģistrēta Eiropas komercsabiedrība (Societas Europaea). Nav ASV mātes uzņēmuma, un GPUwerk pašu līmeņos aiz šīs iekārtas nav ASV reģiona. Nedaudzie pakalpojumi, ko GPUwerk izmanto ap to, piemēram, transakciju e-pasts, ir norādīti ar to sniedzējiem un valstīm apakšapstrādātāju sarakstā. Datu atrašanās vieta nav izvēles rūtiņa iestatījumu panelī, tā ir vieta, kur iekārta ir pieskrūvēta statnei.
"Pakalpojumu sniedzējs apmāca modeļus uz mūsu datiem"
GPUwerk darbina infrastruktūru, nevis modeļus: jūsu prompti un dokumenti tiek apstrādāti jūsu atsevišķajā iekārtā ar jūsu instalētu programmatūru, kas sasniedzama tikai ar jūsu SSH atslēgām un jūsu konsoles pārlūka termināli. Kā jebkurā mitinātā pakalpojumā, GPUwerk saglabā infrastruktūras administratora piekļuvi pamatā esošajai iekārtai, taču saskaņā ar politiku, kas noteikta GPUwerk datu apstrādes līgumā, GPUwerk nepiekļūst jūsu darbvietas saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums, tāpēc nav nekā, uz kā apmācīt. Jebkurā gadījumā tas ir ierakstīts līgumā. Vienīgā apmācība, kas notiek, ir jūsu, ar jūsu pašu datiem.
"Darbinieki ielīmē ChatGPT konfidenciālus datus"
Bloķēšana to pārceļ uz personīgajiem tālruņiem. Risinājums ir apstiprināta alternatīva, kas ir tikpat ērta: ChatGPT klases asistents jūsu pašu instancē, tāda pati tērzēšanas saskarne, tāds pats API, un katrs prompts paliek atsevišķā iekārtā, kas piešķirta tikai jums. Skatiet privātā ChatGPT iestatīšanu →
Jūsu DPO
Rakstīts, lai jūsu DPO to varētu pārsūtīt.
Atbilstības aina vienā tabulā, vienkāršā valodā, bez mārketinga.
| Jautājums | Atbilde |
|---|---|
| Kur dati tiek fiziski apstrādāti? | EU-Central, atsevišķā vienam nomniekam paredzētā iekārtā, kas piešķirta jums |
| Kas ir operators? | PRINT IT! SE, Eiropas komercsabiedrība (Societas Europaea), reģistrēta Prāgā, Čehijā (uzņēmuma ID 069 60 090). Nav mātes uzņēmuma ārpus ES. |
| Kas var piekļūt instances saturam? | Caur pašu instanci — tikai jūsu SSH atslēgu turētāji un jūs caur pārlūka termināli savā GPUwerk konsolē; pieteikšanās ar paroli visā flotē ir atspējota. GPUwerk saglabā infrastruktūras administratora piekļuvi pamatā esošajai iekārtai, kā jebkurā mitinātā pakalpojumā, un saskaņā ar DPA neizmanto to jūsu saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums. Modeļa attēla HTTPS galapunkts ir sasniedzams ikvienam, kam ir URL, līdz jūs tam priekšā novietojat autentificējošu starpniekserveri, piemēram, LiteLLM. |
| Vai GPUwerk lasa promptus vai modeļa datus? | Nē. GPUwerk mitina aparatūru un veic norēķinus un saskaņā ar DPA nepiekļūst darba slodzes saturam, to nelasa, nekopē, neindeksē un neanalizē |
| Vai klientu dati tiek izmantoti apmācībai? | Nē, saskaņā ar līgumu, un, tā kā GPUwerk nepiekļūst jūsu saturam, nav nekā, uz kā apmācīt |
| Darba slodžu apakšapstrādātāji? | GPUwerk pašu līmeņos nav (Partner līmenis darbojas pie partnera mitinātāja) |
| DPA (VDAR 28. pants)? | Publicēts vietnē /legal/dpa, bez maksas |
| Dati pēc izbeigšanas? | Konteiners un darbvietas sējums tiek dzēsti no mezgla, mezgls tiek attīrīts, pirms tas tiek piedāvāts kādam citam. Dzēšana failu sistēmā, nevis kriptogrāfiska dzēšana. |
Arhitektūra
Arhitektūra ir arguments.
Maz bultiņu, katra dokumentēta: jo īsāks DPO pārskats.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Tā vietā izvērtējat API ar maksu par tokenu? Izlasiet privāta LLM mitināšana salīdzinājumā ar OpenAI API vai privāta LLM mitināšana salīdzinājumā ar Azure AI Foundry par datu atrašanās vietu, to, kas var redzēt jūsu promptus, un izmērīto caurlaidspēju.
Regulēts darbs
Veselības aprūpe, tieslietas, finanses un publiskais sektors.
Komandas šajās nozarēs uzdod tos pašus trīs jautājumus: kur atrodas iekārta, kas vēl var tai piekļūt un kas teikts līgumā. Atbildes ir vienādas visām nozarēm. Iekārta atrodas reģionā EU-Central un ir piešķirta vienam klientam. GPUwerk saglabā standarta administratora piekļuvi tās darbināšanai, un 28. panta DPA un apakšapstrādātāju saraksts nosaka, ko tā aptver.
Atsevišķa iekārta pati par sevi nepadara darba slodzi atbilstošu prasībām. Pacientu ierakstiem, konfidenciālām lietu datnēm, maksājumu datiem un iedzīvotāju datiem katram ir savi noteikumi, un to, vai šī konfigurācija tiem atbilst, izlemj jūsu datu aizsardzības speciālists vai jurists. VDAR un ES MI akts atsevišķā aparatūrā uzskaita pierādījumus, ko GPUwerk var nodot.
Ceļveži
Pakalpojumu sniedzēju salīdzinājumi.
Salīdzinājumi ar cenām, kas pārbaudītas pēc katra pakalpojumu sniedzēja lapas. Salīdzinājumu rādītājs uzskaita visus pārējos pakalpojumu sniedzējus.
Kā tas salīdzināms
Atsevišķs Spark ES pretstatā API ar maksu par tokenu, ko pircēji izvērtē līdzās. Datu atrašanās vieta, kas var redzēt jūsu promptus, un kurā ziņā katrs ir labāks.Pārlūkot 11 ceļvežus
- Privāta LLM mitināšana salīdzinājumā ar OpenAI API ES uzņēmumiemDatu atrašanās vieta, kas var redzēt jūsu promptus, izmērītie tok/s un kur katrs uzvar.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Azure AI Foundry ES uzņēmumiemModeļu katalogs, datu atrašanās vieta, cenu modelis un kur katrs uzvar.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Anthropic API ES uzņēmumiemDatu atrašanās vieta, kas var redzēt jūsu promptus, izmērītie tok/s un kur katrs uzvar.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar RunPodRunPod ir GPU tirgus ar daudziem mitinātājiem un GPU tipiem. Salīdzinājums ir par to, kas patiesībā darbina iekārtu, ne tikai par īres modeli.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar GroqGroq LPU aparatūra ir patiešām ātra, ātrāka par lielāko daļu GPU inferences. Atsevišķs DGX Spark konkurē citā dimensijā: viena nomnieka aparatūra un datu kontrole, nevis neapstrādāts ātrums.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Together AITogether AI darbina plašu atvērto modeļu katalogu koplietotā vairāku nomnieku infrastruktūrā. Atsevišķs DGX Spark ir viena iekārta, kas darbina jūsu modeli ar jūsu atslēgām.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Lambda Labs ES uzņēmumiemPēc formas GPUwerk tuvākais salīdzinājums, kas atšķiras galvenokārt ar reģionu un aparatūru. Kurā ziņā katrs ir labāks.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Scaleway ES uzņēmumiemDivas ES bāzētas iespējas, viena šaura un ar fiksētu cenu, otra plašs vispārēja lietojuma mākonis. Kurā ziņā katrs ir labāks.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Hetzner GPU serveriem ES uzņēmumiemIzdevīga atsevišķa aparatūra no labi pazīstama Vācijas mitinātāja salīdzinājumā ar vienotās atmiņas iekārtu, kas veidota inferencei. Kurā ziņā katrs ir labāks.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar CoreWeave ES uzņēmumiemAtsevišķs DGX Spark ES par 0,79 $/stundā salīdzinājumā ar CoreWeave uzņēmumu GPU mākoni: klasteru mērogs, līguma minimumi, datu atrašanās vieta un kur katrs patiešām der.8 min lasīšanai
- Privāta LLM mitināšana salīdzinājumā ar Vast.ai ES uzņēmumiemAtsevišķs DGX Spark ES par 0,79 $/stundā salīdzinājumā ar Vast.ai vienādranga GPU tirgu: kam patiesībā pieder iekārta, datu atrašanās vieta, uzticamība un kur katrs uzvar.8 min lasīšanai
- Privātais MI salīdzinājumā ar ChatGPT EnterpriseKur beidzas ChatGPT Enterprise līgumiskās kontroles un sākas atsevišķas iekārtas datu atrašanās vieta.7 min lasīšanai
- DGX Spark vs. mākoņa GPU instancesAtsevišķs Spark jūsu rīcībā pretstatā GPU stundu nomai ar maksu par tokenu vai stundu — salīdzinājums pēc izmaksām un kontroles.7 min lasīšanai
- Pašmitinātas salīdzinājumā ar pārvaldītām LLM platformāmKo uzņematies, darbinot modeli pats, un kas pārvaldītā platformā joprojām paliek jūsu ziņā.7 min lasīšanai
BUJ par atbilstību.
Vai tas atbilst VDAR?
GPUwerk sniedz jums vajadzīgos pierādījumus: aparatūra un darbība reģionā EU-Central, 28. panta datu apstrādes līgums, nav darba slodžu apakšapstrādātāju GPUwerk pašu līmeņos, un atsevišķas viena nomnieka iekārtas, kuru saturam GPUwerk nepiekļūst, to nelasa, nekopē, neindeksē un neanalizē. Infrastruktūras administratora piekļuve pamatā esošajai iekārtai pastāv, kā jebkurā mitinātā pakalpojumā, un saskaņā ar DPA tā netiek izmantota jūsu saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums. Jūs paliekat pārzinis, tāpēc pašas apstrādes atbilstība ir jāapliecina jums.
Vai jūs parakstāt DPA?
Jā, standarta VDAR 28. panta DPA ir bez maksas publicēts vietnē /legal/dpa. GPUwerk apakšapstrādātāju saraksts darba slodzēm ir īss: GPUwerk pašu līmeņos to nav; Partner līmenis darbojas pie partnera mitinātāja.
Vai mūsu DPO var auditēt konfigurāciju?
Jā. GPUwerk sniedz dokumentāciju par fizisko atrašanās vietu, piekļuves kontrolēm un dzēšanas procedūrām un tieši atbild uz DPO anketām. Nosūtiet sava DPO jautājumus.
Kas notiek ar mūsu datiem, kad izbeidzam instanci?
Izbeigšana dzēš jūsu konteineru un tā /workspace sējumu no mezgla. Pirms šis mezgls tiek piedāvāts citam klientam, tas tiek attīrīts: tiek noņemti visi nomnieku konteineri un sējumi, un, kamēr kāds no tiem paliek, mezgls neiztur gatavības pārbaudi un netiek piešķirts. Tā ir dzēšana failu sistēmas līmenī. GPUwerk mezglos neizmanto paššifrējošus diskus vai pilna diska šifrēšanu, tāpēc neapgalvo, ka notiek kriptogrāfiska dzēšana. GPUwerk nekur citur neglabā jūsu darbvietas kopiju: nav ne dublējuma, ne atkopšanas kopijas. Ja disks sabojājas, darbvieta tajā tiek zaudēta, tāpēc glabājiet savu kopiju. Ja jūsu kredīts sasniedz nulli vai sasniedzat mēneša budžetu, instance tiek apturēta un tās iekārta atbrīvota. Darbvieta šajā iekārtā paliek līdz 48 stundām. Šajā laikā papildiniet kredītu vai palieliniet budžetu un startējiet to vēlreiz, un tā turpinās no vietas, kur palika, ja vien kāds cits nav iznomājis iekārtu, kas to izdzēš ātrāk. Pēc 48 stundām tā tiek dzēsta neatgriezeniski. E-pasti par zemu atlikumu jūs brīdina, pirms tas notiek; automātiskā papildināšana padara to mazāk ticamu, taču maksājums var neizdoties.
Vai tas aptver arī ES MI aktu, ne tikai VDAR?
Atsevišķa aparatūra nemaina jūsu ES MI akta riska līmeni vai nodrošinātāja/uzturētāja statusu, tie ir atkarīgi no tā, ko dara jūsu sistēma, nevis no tā, kur tā darbojas. Tā sniedz skaidru atbildi uz jautājumu, kam ir piekļuve jūsu datiem, kamēr modelis darbojas, un tas ir noderīgs pierādījums uzturētāja puses pienākumiem, ar kuriem patiesībā saskaras lielākā daļa pašmitinošo uzņēmumu. Skatiet VDAR un ES MI akts atsevišķā aparatūrā, lai iegūtu kopējo ainu vienā lapā.
Ārpus infrastruktūras
Praktiska ieviešanas pakete.
Ja jums vajag vairāk par infrastruktūru, varu pievienot definētu sadarbību ar skaidriem nododamajiem rezultātiem komandas apmācībai un integrācijai.
Projekta pieteikums
Definējiet lietojuma gadījuma robežas, latentuma mērķus un to, kurš atbild par apstiprinājumu produkcijai.
Komandas apmācība
Praktiskas sesijas par promptu kvalitāti, pārvaldības modeļiem un biežākajām darbībām.
Integrācijas ceļvedis
Plānojiet API ieviešanu, ieskaitot to, kas jūsu rīkiem jādara, kad instance ir apturēta vai aizņemta.
Īstenojiet savu MI projektu dzīvē.
Izvietojiet Spark un izmēģiniet to paši vai jautājiet cilvēkam, kurš apkalpo statnes. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā.