Privāta LLM mitināšana reģionā EU-Central

Jūsu modeļi. Jūsu dati. Viens nomnieks: jūs.

Privāta LLM mitināšana veselās atsevišķās iekārtās reģionā EU-Central. Jūsu dati tiek apstrādāti ES, nekad netiek izmantoti apmācībai, un neviens cits klients nekad nepieskaras jūsu GPU.

0,79 $/stundā, maksa par katru minūti · samaksājiet 20 $, saņemiet 30 $ kredītā par pirmo papildināšanu

Īsumā.

1nomnieks

Viens nomnieks vienā iekārtā

Vesela iekārta, atvēlēta tikai jums. Nekādu koplietotu GPU.

0

Darba slodžu apakšapstrādātāji

GPUwerk pašu līmeņos. Apakšapstrādātāju saraksts ir īss: instanču darba slodzēm tur to nav; Partner līmenis darbojas pie partnera mitinātāja.

28. pants

VDAR datu apstrādes līgums

Publicēts vietnē /legal/dpa, bez maksas.

Trīs bažas

Trīs bažas un atbildes uz tām.

Katrs uzņēmums, ar kuru runāju, nāk ar tām pašām trim bažām. Lūk, kā tieši katra no tām tiek risināta.

"Mūsu dati atstāj ES"

Nemaina. Aparatūra fiziski atrodas reģionā EU-Central, un to darbina PRINT IT! SE, Prāgā reģistrēta Eiropas komercsabiedrība (Societas Europaea). Nav ASV mātes uzņēmuma, un GPUwerk pašu līmeņos aiz šīs iekārtas nav ASV reģiona. Nedaudzie pakalpojumi, ko GPUwerk izmanto ap to, piemēram, transakciju e-pasts, ir norādīti ar to sniedzējiem un valstīm apakšapstrādātāju sarakstā. Datu atrašanās vieta nav izvēles rūtiņa iestatījumu panelī, tā ir vieta, kur iekārta ir pieskrūvēta statnei.

"Pakalpojumu sniedzējs apmāca modeļus uz mūsu datiem"

GPUwerk darbina infrastruktūru, nevis modeļus: jūsu prompti un dokumenti tiek apstrādāti jūsu atsevišķajā iekārtā ar jūsu instalētu programmatūru, kas sasniedzama tikai ar jūsu SSH atslēgām un jūsu konsoles pārlūka termināli. Kā jebkurā mitinātā pakalpojumā, GPUwerk saglabā infrastruktūras administratora piekļuvi pamatā esošajai iekārtai, taču saskaņā ar politiku, kas noteikta GPUwerk datu apstrādes līgumā, GPUwerk nepiekļūst jūsu darbvietas saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums, tāpēc nav nekā, uz kā apmācīt. Jebkurā gadījumā tas ir ierakstīts līgumā. Vienīgā apmācība, kas notiek, ir jūsu, ar jūsu pašu datiem.

"Darbinieki ielīmē ChatGPT konfidenciālus datus"

Bloķēšana to pārceļ uz personīgajiem tālruņiem. Risinājums ir apstiprināta alternatīva, kas ir tikpat ērta: ChatGPT klases asistents jūsu pašu instancē, tāda pati tērzēšanas saskarne, tāds pats API, un katrs prompts paliek atsevišķā iekārtā, kas piešķirta tikai jums. Skatiet privātā ChatGPT iestatīšanu →

Jūsu DPO

Rakstīts, lai jūsu DPO to varētu pārsūtīt.

Atbilstības aina vienā tabulā, vienkāršā valodā, bez mārketinga.

JautājumsAtbilde
Kur dati tiek fiziski apstrādāti?EU-Central, atsevišķā vienam nomniekam paredzētā iekārtā, kas piešķirta jums
Kas ir operators?PRINT IT! SE, Eiropas komercsabiedrība (Societas Europaea), reģistrēta Prāgā, Čehijā (uzņēmuma ID 069 60 090). Nav mātes uzņēmuma ārpus ES.
Kas var piekļūt instances saturam?Caur pašu instanci — tikai jūsu SSH atslēgu turētāji un jūs caur pārlūka termināli savā GPUwerk konsolē; pieteikšanās ar paroli visā flotē ir atspējota. GPUwerk saglabā infrastruktūras administratora piekļuvi pamatā esošajai iekārtai, kā jebkurā mitinātā pakalpojumā, un saskaņā ar DPA neizmanto to jūsu saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums. Modeļa attēla HTTPS galapunkts ir sasniedzams ikvienam, kam ir URL, līdz jūs tam priekšā novietojat autentificējošu starpniekserveri, piemēram, LiteLLM.
Vai GPUwerk lasa promptus vai modeļa datus?Nē. GPUwerk mitina aparatūru un veic norēķinus un saskaņā ar DPA nepiekļūst darba slodzes saturam, to nelasa, nekopē, neindeksē un neanalizē
Vai klientu dati tiek izmantoti apmācībai?Nē, saskaņā ar līgumu, un, tā kā GPUwerk nepiekļūst jūsu saturam, nav nekā, uz kā apmācīt
Darba slodžu apakšapstrādātāji?GPUwerk pašu līmeņos nav (Partner līmenis darbojas pie partnera mitinātāja)
DPA (VDAR 28. pants)?Publicēts vietnē /legal/dpa, bez maksas
Dati pēc izbeigšanas?Konteiners un darbvietas sējums tiek dzēsti no mezgla, mezgls tiek attīrīts, pirms tas tiek piedāvāts kādam citam. Dzēšana failu sistēmā, nevis kriptogrāfiska dzēšana.

Arhitektūra

Arhitektūra ir arguments.

Maz bultiņu, katra dokumentēta: jo īsāks DPO pārskats.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Tā vietā izvērtējat API ar maksu par tokenu? Izlasiet privāta LLM mitināšana salīdzinājumā ar OpenAI API vai privāta LLM mitināšana salīdzinājumā ar Azure AI Foundry par datu atrašanās vietu, to, kas var redzēt jūsu promptus, un izmērīto caurlaidspēju.

Regulēts darbs

Veselības aprūpe, tieslietas, finanses un publiskais sektors.

Komandas šajās nozarēs uzdod tos pašus trīs jautājumus: kur atrodas iekārta, kas vēl var tai piekļūt un kas teikts līgumā. Atbildes ir vienādas visām nozarēm. Iekārta atrodas reģionā EU-Central un ir piešķirta vienam klientam. GPUwerk saglabā standarta administratora piekļuvi tās darbināšanai, un 28. panta DPA un apakšapstrādātāju saraksts nosaka, ko tā aptver.

Atsevišķa iekārta pati par sevi nepadara darba slodzi atbilstošu prasībām. Pacientu ierakstiem, konfidenciālām lietu datnēm, maksājumu datiem un iedzīvotāju datiem katram ir savi noteikumi, un to, vai šī konfigurācija tiem atbilst, izlemj jūsu datu aizsardzības speciālists vai jurists. VDAR un ES MI akts atsevišķā aparatūrā uzskaita pierādījumus, ko GPUwerk var nodot.

Ceļveži

Pakalpojumu sniedzēju salīdzinājumi.

Salīdzinājumi ar cenām, kas pārbaudītas pēc katra pakalpojumu sniedzēja lapas. Salīdzinājumu rādītājs uzskaita visus pārējos pakalpojumu sniedzējus.

Kā tas salīdzināms

Atsevišķs Spark ES pretstatā API ar maksu par tokenu, ko pircēji izvērtē līdzās. Datu atrašanās vieta, kas var redzēt jūsu promptus, un kurā ziņā katrs ir labāks.Pārlūkot 11 ceļvežus

BUJ par atbilstību.

Vai tas atbilst VDAR?

GPUwerk sniedz jums vajadzīgos pierādījumus: aparatūra un darbība reģionā EU-Central, 28. panta datu apstrādes līgums, nav darba slodžu apakšapstrādātāju GPUwerk pašu līmeņos, un atsevišķas viena nomnieka iekārtas, kuru saturam GPUwerk nepiekļūst, to nelasa, nekopē, neindeksē un neanalizē. Infrastruktūras administratora piekļuve pamatā esošajai iekārtai pastāv, kā jebkurā mitinātā pakalpojumā, un saskaņā ar DPA tā netiek izmantota jūsu saturam, izņemot pēc jūsu pieprasījuma atbalsta vajadzībām vai ja to prasa juridisks pienākums. Jūs paliekat pārzinis, tāpēc pašas apstrādes atbilstība ir jāapliecina jums.

Vai jūs parakstāt DPA?

Jā, standarta VDAR 28. panta DPA ir bez maksas publicēts vietnē /legal/dpa. GPUwerk apakšapstrādātāju saraksts darba slodzēm ir īss: GPUwerk pašu līmeņos to nav; Partner līmenis darbojas pie partnera mitinātāja.

Vai mūsu DPO var auditēt konfigurāciju?

Jā. GPUwerk sniedz dokumentāciju par fizisko atrašanās vietu, piekļuves kontrolēm un dzēšanas procedūrām un tieši atbild uz DPO anketām. Nosūtiet sava DPO jautājumus.

Kas notiek ar mūsu datiem, kad izbeidzam instanci?

Izbeigšana dzēš jūsu konteineru un tā /workspace sējumu no mezgla. Pirms šis mezgls tiek piedāvāts citam klientam, tas tiek attīrīts: tiek noņemti visi nomnieku konteineri un sējumi, un, kamēr kāds no tiem paliek, mezgls neiztur gatavības pārbaudi un netiek piešķirts. Tā ir dzēšana failu sistēmas līmenī. GPUwerk mezglos neizmanto paššifrējošus diskus vai pilna diska šifrēšanu, tāpēc neapgalvo, ka notiek kriptogrāfiska dzēšana. GPUwerk nekur citur neglabā jūsu darbvietas kopiju: nav ne dublējuma, ne atkopšanas kopijas. Ja disks sabojājas, darbvieta tajā tiek zaudēta, tāpēc glabājiet savu kopiju. Ja jūsu kredīts sasniedz nulli vai sasniedzat mēneša budžetu, instance tiek apturēta un tās iekārta atbrīvota. Darbvieta šajā iekārtā paliek līdz 48 stundām. Šajā laikā papildiniet kredītu vai palieliniet budžetu un startējiet to vēlreiz, un tā turpinās no vietas, kur palika, ja vien kāds cits nav iznomājis iekārtu, kas to izdzēš ātrāk. Pēc 48 stundām tā tiek dzēsta neatgriezeniski. E-pasti par zemu atlikumu jūs brīdina, pirms tas notiek; automātiskā papildināšana padara to mazāk ticamu, taču maksājums var neizdoties.

Vai tas aptver arī ES MI aktu, ne tikai VDAR?

Atsevišķa aparatūra nemaina jūsu ES MI akta riska līmeni vai nodrošinātāja/uzturētāja statusu, tie ir atkarīgi no tā, ko dara jūsu sistēma, nevis no tā, kur tā darbojas. Tā sniedz skaidru atbildi uz jautājumu, kam ir piekļuve jūsu datiem, kamēr modelis darbojas, un tas ir noderīgs pierādījums uzturētāja puses pienākumiem, ar kuriem patiesībā saskaras lielākā daļa pašmitinošo uzņēmumu. Skatiet VDAR un ES MI akts atsevišķā aparatūrā, lai iegūtu kopējo ainu vienā lapā.

Ārpus infrastruktūras

Praktiska ieviešanas pakete.

Ja jums vajag vairāk par infrastruktūru, varu pievienot definētu sadarbību ar skaidriem nododamajiem rezultātiem komandas apmācībai un integrācijai.

  1. Projekta pieteikums

    Definējiet lietojuma gadījuma robežas, latentuma mērķus un to, kurš atbild par apstiprinājumu produkcijai.

  2. Komandas apmācība

    Praktiskas sesijas par promptu kvalitāti, pārvaldības modeļiem un biežākajām darbībām.

  3. Integrācijas ceļvedis

    Plānojiet API ieviešanu, ieskaitot to, kas jūsu rīkiem jādara, kad instance ir apturēta vai aizņemta.

Skatīt, kā notiek sadarbība

Īstenojiet savu MI projektu dzīvē.

Izvietojiet Spark un izmēģiniet to paši vai jautājiet cilvēkam, kurš apkalpo statnes. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā.