Privat LLM-hosting i EU-Central
Dine modeller. Dine data. Én leietaker: deg.
Privat LLM-hosting på hele dedikerte maskiner i EU-Central. Dataene dine behandles i EU, brukes aldri til trening, og ingen annen kunde rører noen gang GPU-en din.
0 $,79/time, fakturert per minutt · betal 20 $, få 30 $ i kreditt ved første påfylling
Kort oppsummert.
Én leietaker per maskin
En hel dedikert maskin, tildelt deg. Ingen delte GPU-er.
Underdatabehandlere for arbeidslaster
På GPUwerks egne nivåer. Listen over underdatabehandlere er kort: ingen for instansarbeidslaster der; partnernivået kjører hos en partnervert.
Databehandleravtale etter GDPR
Publisert på /legal/dpa, kostnadsfritt.
De tre bekymringene
De tre bekymringene, besvart.
Alle selskaper jeg snakker med, kommer med de samme tre bekymringene. Her er nøyaktig hvordan hver av dem håndteres.
"Dataene våre forlater EU"
Det gjør det ikke. Maskinvaren står fysisk i EU-Central og drives av PRINT IT! SE, et europeisk selskap (Societas Europaea) registrert i Praha. Det finnes ikke noe amerikansk morselskap og, på GPUwerks egne nivåer, ingen amerikansk region bak den maskinen. De få tjenestene GPUwerk bruker rundt den, som transaksjonell e-post, er oppført med leverandør og land i listen over underdatabehandlere. Datalokalisering er ikke en avkrysningsboks i et innstillingspanel, det er der maskinen er boltet fast i racket.
"Leverandøren trener på dataene våre"
GPUwerk driver infrastruktur, ikke modeller: promptene og dokumentene dine behandles på din dedikerte maskin, av programvare du har installert, og kan bare nås gjennom SSH-nøklene dine og nettleserterminalen i konsollen. Som på enhver driftet tjeneste har GPUwerk administratortilgang til infrastrukturen på den underliggende maskinen, men som prinsipp fastsatt i GPUwerks databehandleravtale får GPUwerk ikke tilgang til innholdet i arbeidsområdet ditt, unntatt når du ber om det for støtte eller der en rettslig forpliktelse krever det, så det finnes ingenting å trene på. Det står i avtalen uansett. Den eneste treningen som skjer, er din egen, på dine egne data.
"Ansatte limer inn hemmeligheter i ChatGPT"
Blokkering flytter bruken over på private telefoner. Løsningen er et godkjent alternativ som er like praktisk: en assistent i ChatGPT-klassen på din egen instans, samme chattegrensesnitt, samme API, og hver prompt blir på en dedikert maskin som bare er tildelt deg. Se oppsettet for privat ChatGPT →
For personvernombudet ditt
Skrevet slik at personvernombudet ditt kan videresende det.
Bildet av regeletterlevelse i én tabell, i klartekst, uten markedsføring.
| Spørsmål | Svar |
|---|---|
| Hvor behandles data fysisk? | EU-Central, på en dedikert maskin med én leietaker, tildelt deg |
| Hvem er operatøren? | PRINT IT! SE, et europeisk selskap (Societas Europaea) registrert i Praha, Tsjekkia (organisasjonsnummer 069 60 090). Ingen morselskap utenfor EU. |
| Hvem har tilgang til innholdet i instansen? | Via selve instansen bare de som har SSH-nøklene dine, og du via nettleserterminalen i GPUwerk-konsollen din; innlogging med passord er deaktivert i hele flåten. GPUwerk har administratortilgang til infrastrukturen på den underliggende maskinen, som på enhver driftet tjeneste, og etter databehandleravtalen brukes den ikke på innholdet ditt, unntatt når du ber om det for støtte eller der en rettslig forpliktelse krever det. HTTPS-endepunktet til et modellimage kan nås av alle som har URL-en, til du setter en autentiserende proxy som LiteLLM foran det. |
| Leser GPUwerk prompter eller modelldata? | Nei. GPUwerk drifter maskinvaren og står for faktureringen, og etter databehandleravtalen får GPUwerk ikke tilgang til, leser, kopierer, indekserer eller analyserer innholdet i arbeidslasten |
| Brukes kundedata til trening? | Nei, etter avtalen, og siden GPUwerk ikke får tilgang til innholdet ditt, finnes det ingenting å trene på |
| Underdatabehandlere for arbeidslaster? | Ingen på GPUwerks egne nivåer (partnernivået kjører hos en partnervert) |
| Databehandleravtale (GDPR art. 28)? | Publisert på /legal/dpa, kostnadsfritt |
| Data ved avslutning? | Containeren og arbeidsområdevolumet slettes fra noden, og noden renses før den tilbys noen andre. Sletting i filsystemet, ikke kryptografisk sletting. |
Arkitektur
Arkitekturen er argumentet.
Få piler, hver av dem dokumentert: jo kortere gjennomgang for personvernombudet.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Vurderer du dette opp mot et API med betaling per token i stedet? Les privat LLM-hosting mot OpenAI API eller privat LLM-hosting mot Azure AI Foundry om datalokasjon, hvem som kan se promptene dine, og målt gjennomstrømning.
Regulert arbeid
Helse, juss, finans og offentlig sektor.
Team i disse feltene stiller de samme tre spørsmålene: hvor maskinen står, hvem andre som kan nå den, og hva avtalen sier. Svarene er de samme for alle sektorer. Maskinen står i EU-Central og er tildelt én kunde. GPUwerk har vanlig administratortilgang for å drifte den, og databehandleravtalen etter artikkel 28 og listen over underdatabehandlere beskriver hva den omfatter.
En dedikert maskin gjør ikke i seg selv en arbeidslast lovlig. Pasientjournaler, fortrolige saksdokumenter, betalingsdata og innbyggerdata har hver sine regler, og personvernombudet eller juristen din avgjør om dette oppsettet oppfyller dem. GDPR og EUs AI-forordning på dedikert maskinvare viser hvilken dokumentasjon GPUwerk kan levere.
Guider
Leverandørsammenligninger.
Sammenligningene med priser kontrollert mot hver leverandørs egen side. Sammenligningsoversikten viser alle andre leverandører.
Slik står den seg
En dedikert Spark i EU mot API-ene med betaling per token som kjøpere sammenligner den med. Datalokasjon, hvem som kan se promptene dine, og hvor hver av dem vinner.Bla gjennom 11 guider
- Privat LLM-hosting mot OpenAI API for EU-selskaperDatalokasjon, hvem som kan se promptene dine, målte tok/s, og hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot Azure AI Foundry for EU-selskaperModellkatalog, datalokasjon, prismodell, og hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot Anthropic API for EU-selskaperDatalokasjon, hvem som kan se promptene dine, målte tok/s, og hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot RunPodRunPod er en GPU-markedsplass på tvers av mange verter og GPU-typer. Sammenligningen handler om hvem som faktisk driver maskinen, ikke bare leieforholdet.8 min lesetid
- Privat LLM-hosting mot GroqGroqs LPU-maskinvare er virkelig rask, raskere enn det meste av GPU-inferens. En dedikert DGX Spark konkurrerer på en annen akse: maskinvare med én leietaker og kontroll over dataene, ikke rå hastighet.8 min lesetid
- Privat LLM-hosting mot Together AITogether AI kjører en bred katalog av åpne modeller på delt infrastruktur med mange leietakere. En dedikert DGX Spark er én maskin som kjører modellen din, under dine nøkler.8 min lesetid
- Privat LLM-hosting mot Lambda Labs for EU-selskaperDen sammenligningen som ligner mest på GPUwerk i form, med forskjeller hovedsakelig i region og maskinvare. Hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot Scaleway for EU-selskaperTo EU-baserte alternativer, ett smalt og med fast pris, ett en bred sky for generell bruk. Hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot Hetzners GPU-servere for EU-selskaperRimelig dedikert maskinvare fra en kjent tysk driftsleverandør, sammenlignet med en maskin med enhetlig minne bygd for inferens. Hvor hver av dem vinner.8 min lesetid
- Privat LLM-hosting mot CoreWeave for EU-selskaperEn dedikert DGX Spark i EU til 0 $,79/time mot CoreWeaves GPU-sky for bedrifter: klyngeskala, minimumsforpliktelser i avtalen, datalokasjon, og hvor hver av dem faktisk passer.8 min lesetid
- Privat LLM-hosting mot Vast.ai for EU-selskaperEn dedikert DGX Spark i EU til 0 $,79/time mot Vast.ai sin peer-to-peer-markedsplass for GPU-er: hvem som faktisk eier boksen, datalokasjon, pålitelighet, og hvor hver av dem vinner.8 min lesetid
- Privat AI mot ChatGPT EnterpriseDer ChatGPT Enterprises avtalemessige kontroller slutter og en dedikert maskins datalokalisering begynner.7 min lesetid
- DGX Spark mot GPU-instanser i skyenÅ eie en dedikert Spark mot å leie GPU-timer per token eller per time, sammenlignet på kostnad og kontroll.7 min lesetid
- Selvdriftede mot administrerte LLM-plattformerHva du påtar deg når du kjører modellen selv, og hva en administrert plattform fortsatt overlater til deg.7 min lesetid
Spørsmål og svar om regeletterlevelse.
Er det i samsvar med GDPR?
GPUwerk leverer dokumentasjonen du trenger: maskinvare og drift i EU-Central, en databehandleravtale etter artikkel 28, ingen underdatabehandlere for arbeidslaster på GPUwerks egne nivåer, og dedikerte maskiner med én leietaker der GPUwerk ikke får tilgang til, leser, kopierer, indekserer eller analyserer innholdet. Administratortilgang til infrastrukturen på den underliggende maskinen finnes, som på enhver driftet tjeneste, og etter databehandleravtalen brukes den ikke på innholdet ditt, unntatt når du ber om det for støtte eller der en rettslig forpliktelse krever det. Du forblir behandlingsansvarlig, så det er du som må godtgjøre at selve behandlingen er i samsvar med reglene.
Signerer du en databehandleravtale?
Ja, en standard databehandleravtale etter GDPR artikkel 28 er publisert kostnadsfritt på /legal/dpa. GPUwerks liste over underdatabehandlere for arbeidslaster er kort: på GPUwerks egne nivåer finnes det ingen; partnernivået kjører hos en partnervert.
Kan personvernombudet vårt revidere oppsettet?
Ja. GPUwerk leverer dokumentasjon av den fysiske lokasjonen, tilgangskontroller og sletterutiner, og svarer direkte på spørreskjemaer fra personvernombud. Send spørsmålene fra personvernombudet ditt.
Hva skjer med dataene våre når vi avslutter?
Avslutning sletter containeren din og /workspace-volumet fra noden. Før den noden tilbys en annen kunde, renses den: alle leietakercontainere og volumer fjernes, og noden består ikke klarsjekken og tildeles ikke så lenge noen av dem gjenstår. Dette er sletting på filsystemnivå. GPUwerk bruker ikke selvkrypterende disker eller fulldiskkryptering på nodene, så det fremsettes ingen påstand om kryptografisk sletting. GPUwerk har ingen kopi av arbeidsområdet ditt noe annet sted: ingen sikkerhetskopi og ingen gjenopprettingskopi. Hvis en disk svikter, går arbeidsområdet på den tapt, så ta din egen kopi. Hvis kreditten din når null eller du når månedsbudsjettet, stoppes instansen og maskinen frigis. Arbeidsområdet blir liggende på den maskinen i opptil 48 timer. Fyll på eller øk budsjettet og start den igjen innen den tiden, så fortsetter den der den slapp, med mindre noen andre har leid maskinen, noe som sletter det tidligere. Etter 48 timer slettes det for godt. E-poster om lav saldo varsler deg før det skjer; automatisk påfylling gjør det mindre sannsynlig, men en betaling kan mislykkes.
Dekker dette også EUs AI-forordning, ikke bare GDPR?
Dedikert maskinvare endrer ikke risikonivået ditt etter EUs AI-forordning eller statusen din som tilbyder/idriftsetter; det avhenger av hva systemet ditt gjør, ikke hvor det kjører. Det du får, er et klart svar på hvem som har tilgang til dataene dine mens modellen kjører, noe som er nyttig dokumentasjon for idriftsetterforpliktelsene de fleste selskaper med egen drift faktisk står overfor. Se GDPR og EUs AI-forordning på dedikert maskinvare for helhetsbildet på én side.
Utover infrastrukturen
Praktisk utrullingspakke.
Hvis du trenger mer enn infrastruktur, kan jeg legge til et avgrenset oppdrag med tydelige leveranser for opplæring av teamet og integrasjon.
Prosjektinntak
Definer grensene for bruksområdet, mål for svartid, og hvem som eier godkjenningen for produksjon.
Opplæring for teamet
Praktiske økter om promptkvalitet, styringsmønstre og vanlige driftsoppgaver.
Veikart for integrasjon
Planlegg utrullingen av API-et, inkludert hva verktøyene dine skal gjøre når instansen er stoppet eller opptatt.
Gi AI-prosjektet ditt liv.
Deploy en Spark og test den selv, eller spør personen som driver rackene. Første påfylling: betal 20 $, få 30 $ i kreditt.