Privat LLM-drift i EU-Central

Dina modeller. Din data. En kund: du.

Privat LLM-drift på hela dedikerade maskiner i EU-Central. Din data behandlas i EU, används aldrig för träning, och ingen annan kund rör någonsin din GPU.

0,79 USD/timme, debiteras per minut · betala 20 USD, få 30 USD i kredit vid din första påfyllning

I korthet.

1kund

En kund per maskin

En hel dedikerad maskin, tilldelad dig. Inga delade GPU:er.

0

Underbiträden för arbetslaster

På GPUwerks egna nivåer. Listan över underbiträden är kort: inga för instansernas arbetslaster där; Partner-nivån körs på en partnervärd.

Art.28

Personuppgiftsbiträdesavtal enligt GDPR

Publicerat på /legal/dpa, utan kostnad.

De tre farhågorna

De tre farhågorna, besvarade.

Varje företag jag pratar med kommer med samma tre farhågor. Så här hanteras var och en av dem.

”Vår data lämnar EU”

Det gör den inte. Hårdvaran står fysiskt i EU-Central och drivs av PRINT IT! SE, ett europabolag (Societas Europaea) registrerat i Prag. Det finns inget amerikanskt moderbolag och, på GPUwerks egna nivåer, ingen amerikansk region bakom den maskinen. De få tjänster GPUwerk använder runt den, som transaktionell e-post, listas med sina leverantörer och länder i listan över underbiträden. Datalagringsplats är ingen kryssruta i en inställningspanel, det är där maskinen sitter fastskruvad i racket.

”Leverantören tränar på vår data”

GPUwerk driver infrastruktur, inte modeller: dina prompter och dokument behandlas på din dedikerade maskin, av programvara du har installerat, och kan bara nås via dina SSH-nycklar och konsolens webbterminal. Som på alla driftade tjänster behåller GPUwerk administratörsåtkomst till infrastrukturen på den underliggande maskinen, men som policy enligt GPUwerks personuppgiftsbiträdesavtal kommer GPUwerk inte åt innehållet i din arbetsyta utom på din begäran för support eller när en rättslig skyldighet kräver det, så det finns ingenting att träna på. Och det står i avtalet. Den enda träning som sker är din egen, på din egen data.

”Anställda klistrar in hemligheter i ChatGPT”

Att blockera flyttar det till privata telefoner. Lösningen är ett godkänt alternativ som är lika bekvämt: en assistent i ChatGPT-klass på din egen instans, samma chattgränssnitt, samma API, och varje prompt stannar kvar på en dedikerad maskin som bara är tilldelad dig. Se upplägget för privat ChatGPT →

För ditt dataskyddsombud

Skrivet för att ditt dataskyddsombud ska kunna vidarebefordra det.

Bilden av regelefterlevnaden i en tabell, på klarspråk, utan marknadsföring.

FrågaSvar
Var behandlas datan fysiskt?EU-Central, på en dedikerad maskin med en enda kund som är tilldelad dig
Vem är operatören?PRINT IT! SE, ett europabolag (Societas Europaea) registrerat i Prag, Tjeckien (organisationsnummer 069 60 090). Inget moderbolag utanför EU.
Vem kan komma åt innehållet i en instans?Via själva instansen bara de som har dina SSH-nycklar, och du via webbterminalen i din GPUwerk-konsol; lösenordsinloggning är avstängd i hela maskinparken. GPUwerk behåller administratörsåtkomst till infrastrukturen på den underliggande maskinen, som hos alla tjänsteleverantörer, och använder den enligt personuppgiftsbiträdesavtalet inte på ditt innehåll utom på din begäran för support eller när en rättslig skyldighet kräver det. En modellavbildnings HTTPS-endpoint kan nås av alla som har URL:en tills du lägger en autentiserande proxy som LiteLLM framför den.
Läser GPUwerk prompter eller modelldata?Nej. GPUwerk driftar hårdvaran och sköter faktureringen och kommer enligt personuppgiftsbiträdesavtalet inte åt, läser, kopierar, indexerar eller analyserar innehållet i arbetslasten
Används någon kunddata för träning?Nej, enligt avtal, och eftersom GPUwerk inte kommer åt ditt innehåll finns ingenting att träna på
Underbiträden för arbetslaster?Inga på GPUwerks egna nivåer (Partner-nivån körs på en partnervärd)
Personuppgiftsbiträdesavtal (GDPR art. 28)?Publicerat på /legal/dpa, utan kostnad
Data vid avslut?Container och arbetsytevolym raderas från noden, och noden saneras innan den erbjuds till någon annan. Radering i filsystemet, inte en kryptografisk radering.

Arkitektur

Arkitekturen är argumentet.

Få pilar, var och en dokumenterad: ju färre, desto kortare granskning för dataskyddsombudet.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Väger du detta mot ett API med pris per token i stället? Läs privat LLM-drift mot OpenAI API eller privat LLM-drift mot Azure AI Foundry om dataplats, vem som kan se dina prompter och uppmätt genomströmning.

Reglerat arbete

Hälso- och sjukvård, juridik, finans och offentlig sektor.

Team inom de här områdena ställer samma tre frågor: var maskinen står, vem mer som kan nå den och vad avtalet säger. Svaren är desamma för alla sektorer. Maskinen står i EU-Central och är tilldelad en kund. GPUwerk behåller vanlig administratörsåtkomst för att driva den, och personuppgiftsbiträdesavtalet enligt artikel 28 och listan över underbiträden beskriver vad det omfattar.

En dedikerad maskin gör inte i sig att en arbetslast följer regelverken. Patientjournaler, sekretessbelagda ärendeakter, betalningsdata och medborgardata har var och en sina egna regler, och ditt dataskyddsombud eller din jurist avgör om det här upplägget uppfyller dem. GDPR och EU:s AI-förordning på dedikerad hårdvara listar den dokumentation GPUwerk kan lämna över.

Guider

Leverantörsjämförelser.

Jämförelserna med priser kontrollerade mot varje leverantörs egen sida. Jämförelseindexet listar alla andra leverantörer.

Så står den sig

En dedikerad Spark i EU jämfört med de API:er med pris per token som köpare jämför den med. Dataplats, vem som kan se dina prompter och var var och en vinner.Bläddra bland 11 guider

Vanliga frågor om regelefterlevnad.

Följer det GDPR?

GPUwerk tillhandahåller det underlag du behöver: hårdvara och drift i EU-Central, ett personuppgiftsbiträdesavtal enligt artikel 28, inga underbiträden för arbetslaster på GPUwerks egna nivåer och dedikerade maskiner med en enda kund vars innehåll GPUwerk inte kommer åt, läser, kopierar, indexerar eller analyserar. Administratörsåtkomst till infrastrukturen på den underliggande maskinen finns, som hos alla tjänsteleverantörer, och enligt personuppgiftsbiträdesavtalet används den inte på ditt innehåll utom på din begäran för support eller när en rättslig skyldighet kräver det. Du är fortfarande personuppgiftsansvarig, så regelefterlevnaden för själva behandlingen är din att intyga.

Skriver GPUwerk under ett personuppgiftsbiträdesavtal?

Ja, ett standardavtal om personuppgiftsbiträde enligt artikel 28 i GDPR publiceras på /legal/dpa utan kostnad. GPUwerks lista över underbiträden för arbetslaster är kort: på GPUwerks egna nivåer finns det inga; Partner-nivån körs på en partnervärd.

Kan vårt dataskyddsombud granska upplägget?

Ja. GPUwerk tillhandahåller dokumentation om den fysiska platsen, åtkomstkontroller och raderingsrutiner, och besvarar dataskyddsombudens frågeformulär direkt. Skicka ditt dataskyddsombuds frågor.

Vad händer med vår data när vi avslutar?

När du avslutar raderas din container och dess /workspace-volym från noden. Innan den noden erbjuds till en annan kund saneras den: alla kundcontainrar och volymer tas bort, och noden underkänns i driftklarhetskontrollen och tilldelas inte så länge någon av dem finns kvar. Det här är radering på filsystemsnivå. GPUwerk använder inte självkrypterande diskar eller fullständig diskkryptering på noderna, så GPUwerk gör inga påståenden om kryptografisk radering. GPUwerk sparar ingen kopia av din arbetsyta någon annanstans: ingen säkerhetskopia och ingen återställningskopia. Om en disk går sönder förloras arbetsytan på den, så behåll en egen kopia. Om din kredit når noll eller du når din månadsbudget stoppas instansen och maskinen frigörs. Arbetsytan finns kvar på den maskinen i upp till 48 timmar. Fyll på eller höj budgeten och starta den igen inom den tiden så fortsätter den där den slutade, om inte någon annan har hyrt maskinen, vilket raderar den tidigare. Efter 48 timmar raderas den permanent. Mejl om lågt saldo varnar dig innan det händer; automatisk påfyllning gör det mindre sannolikt, men en betalning kan misslyckas.

Täcker det här även EU:s AI-förordning, inte bara GDPR?

Dedikerad hårdvara ändrar inte din risknivå eller din roll som leverantör/tillhandahållare enligt EU:s AI-förordning, det beror på vad ditt system gör, inte var det körs. Vad den ger dig är ett tydligt svar på vem som kan komma åt din data medan modellen körs, vilket är användbart underlag för de skyldigheter på tillhandahållarsidan som de flesta företag som driftar själva faktiskt har. Se GDPR och EU:s AI-förordning på dedikerad hårdvara för helhetsbilden på en sida.

Mer än infrastrukturen

Praktiskt utrullningspaket.

Om du behöver mer än infrastruktur kan jag lägga till ett avgränsat uppdrag med tydliga leveranser för introduktion av teamet och integration.

  1. Projektgenomgång

    Definiera användningsfallets gränser, latensmål och vem som äger godkännandet för produktion.

  2. Utbildning för teamet

    Praktiska sessioner om promptkvalitet, styrningsmönster och vanlig drift.

  3. Färdplan för integration

    Planera utrullningen av API:et, inklusive vad dina verktyg ska göra när instansen är stoppad eller upptagen.

Se hur uppdraget fungerar

Väck ditt AI-projekt till liv.

Driftsätt en Spark och testa den själv, eller fråga personen som sköter racken. Första påfyllningen: betala 20 USD, få 30 USD i kredit.