Privat LLM-drift i EU-Central
Dina modeller. Din data. En kund: du.
Privat LLM-drift på hela dedikerade maskiner i EU-Central. Din data behandlas i EU, används aldrig för träning, och ingen annan kund rör någonsin din GPU.
0,79 USD/timme, debiteras per minut · betala 20 USD, få 30 USD i kredit vid din första påfyllning
I korthet.
En kund per maskin
En hel dedikerad maskin, tilldelad dig. Inga delade GPU:er.
Underbiträden för arbetslaster
På GPUwerks egna nivåer. Listan över underbiträden är kort: inga för instansernas arbetslaster där; Partner-nivån körs på en partnervärd.
Personuppgiftsbiträdesavtal enligt GDPR
Publicerat på /legal/dpa, utan kostnad.
De tre farhågorna
De tre farhågorna, besvarade.
Varje företag jag pratar med kommer med samma tre farhågor. Så här hanteras var och en av dem.
”Vår data lämnar EU”
Det gör den inte. Hårdvaran står fysiskt i EU-Central och drivs av PRINT IT! SE, ett europabolag (Societas Europaea) registrerat i Prag. Det finns inget amerikanskt moderbolag och, på GPUwerks egna nivåer, ingen amerikansk region bakom den maskinen. De få tjänster GPUwerk använder runt den, som transaktionell e-post, listas med sina leverantörer och länder i listan över underbiträden. Datalagringsplats är ingen kryssruta i en inställningspanel, det är där maskinen sitter fastskruvad i racket.
”Leverantören tränar på vår data”
GPUwerk driver infrastruktur, inte modeller: dina prompter och dokument behandlas på din dedikerade maskin, av programvara du har installerat, och kan bara nås via dina SSH-nycklar och konsolens webbterminal. Som på alla driftade tjänster behåller GPUwerk administratörsåtkomst till infrastrukturen på den underliggande maskinen, men som policy enligt GPUwerks personuppgiftsbiträdesavtal kommer GPUwerk inte åt innehållet i din arbetsyta utom på din begäran för support eller när en rättslig skyldighet kräver det, så det finns ingenting att träna på. Och det står i avtalet. Den enda träning som sker är din egen, på din egen data.
”Anställda klistrar in hemligheter i ChatGPT”
Att blockera flyttar det till privata telefoner. Lösningen är ett godkänt alternativ som är lika bekvämt: en assistent i ChatGPT-klass på din egen instans, samma chattgränssnitt, samma API, och varje prompt stannar kvar på en dedikerad maskin som bara är tilldelad dig. Se upplägget för privat ChatGPT →
För ditt dataskyddsombud
Skrivet för att ditt dataskyddsombud ska kunna vidarebefordra det.
Bilden av regelefterlevnaden i en tabell, på klarspråk, utan marknadsföring.
| Fråga | Svar |
|---|---|
| Var behandlas datan fysiskt? | EU-Central, på en dedikerad maskin med en enda kund som är tilldelad dig |
| Vem är operatören? | PRINT IT! SE, ett europabolag (Societas Europaea) registrerat i Prag, Tjeckien (organisationsnummer 069 60 090). Inget moderbolag utanför EU. |
| Vem kan komma åt innehållet i en instans? | Via själva instansen bara de som har dina SSH-nycklar, och du via webbterminalen i din GPUwerk-konsol; lösenordsinloggning är avstängd i hela maskinparken. GPUwerk behåller administratörsåtkomst till infrastrukturen på den underliggande maskinen, som hos alla tjänsteleverantörer, och använder den enligt personuppgiftsbiträdesavtalet inte på ditt innehåll utom på din begäran för support eller när en rättslig skyldighet kräver det. En modellavbildnings HTTPS-endpoint kan nås av alla som har URL:en tills du lägger en autentiserande proxy som LiteLLM framför den. |
| Läser GPUwerk prompter eller modelldata? | Nej. GPUwerk driftar hårdvaran och sköter faktureringen och kommer enligt personuppgiftsbiträdesavtalet inte åt, läser, kopierar, indexerar eller analyserar innehållet i arbetslasten |
| Används någon kunddata för träning? | Nej, enligt avtal, och eftersom GPUwerk inte kommer åt ditt innehåll finns ingenting att träna på |
| Underbiträden för arbetslaster? | Inga på GPUwerks egna nivåer (Partner-nivån körs på en partnervärd) |
| Personuppgiftsbiträdesavtal (GDPR art. 28)? | Publicerat på /legal/dpa, utan kostnad |
| Data vid avslut? | Container och arbetsytevolym raderas från noden, och noden saneras innan den erbjuds till någon annan. Radering i filsystemet, inte en kryptografisk radering. |
Arkitektur
Arkitekturen är argumentet.
Få pilar, var och en dokumenterad: ju färre, desto kortare granskning för dataskyddsombudet.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Väger du detta mot ett API med pris per token i stället? Läs privat LLM-drift mot OpenAI API eller privat LLM-drift mot Azure AI Foundry om dataplats, vem som kan se dina prompter och uppmätt genomströmning.
Reglerat arbete
Hälso- och sjukvård, juridik, finans och offentlig sektor.
Team inom de här områdena ställer samma tre frågor: var maskinen står, vem mer som kan nå den och vad avtalet säger. Svaren är desamma för alla sektorer. Maskinen står i EU-Central och är tilldelad en kund. GPUwerk behåller vanlig administratörsåtkomst för att driva den, och personuppgiftsbiträdesavtalet enligt artikel 28 och listan över underbiträden beskriver vad det omfattar.
En dedikerad maskin gör inte i sig att en arbetslast följer regelverken. Patientjournaler, sekretessbelagda ärendeakter, betalningsdata och medborgardata har var och en sina egna regler, och ditt dataskyddsombud eller din jurist avgör om det här upplägget uppfyller dem. GDPR och EU:s AI-förordning på dedikerad hårdvara listar den dokumentation GPUwerk kan lämna över.
Guider
Leverantörsjämförelser.
Jämförelserna med priser kontrollerade mot varje leverantörs egen sida. Jämförelseindexet listar alla andra leverantörer.
Så står den sig
En dedikerad Spark i EU jämfört med de API:er med pris per token som köpare jämför den med. Dataplats, vem som kan se dina prompter och var var och en vinner.Bläddra bland 11 guider
- Privat LLM-drift mot OpenAI API för EU-företagDataplats, vem som kan se dina prompter, uppmätta tok/s och var var och en vinner.8 min läsning
- Privat LLM-drift mot Azure AI Foundry för EU-företagModellkatalog, dataplats, prismodell och var var och en vinner.8 min läsning
- Privat LLM-drift mot Anthropic API för EU-företagDataplats, vem som kan se dina prompter, uppmätta tok/s och var var och en vinner.8 min läsning
- Privat LLM-drift mot RunPodRunPod är en GPU-marknadsplats över många värdar och GPU-typer. Jämförelsen handlar om vem som faktiskt driver maskinen, inte bara om hyresformen.8 min läsning
- Privat LLM-drift mot GroqGroqs LPU-hårdvara är verkligen snabb, snabbare än de flesta GPU-inferenser. En dedikerad DGX Spark konkurrerar på en annan axel: hårdvara med en enda kund och kontroll över datan, inte rå hastighet.8 min läsning
- Privat LLM-drift mot Together AITogether AI kör en bred katalog av öppna modeller på delad infrastruktur med flera kunder. En dedikerad DGX Spark är en maskin som kör din modell, under dina nycklar.8 min läsning
- Privat LLM-drift mot Lambda Labs för EU-företagDen jämförelse som till formen ligger närmast GPUwerk, med skillnader främst i region och hårdvara. Var var och en vinner.8 min läsning
- Privat LLM-drift mot Scaleway för EU-företagTvå EU-baserade alternativ, ett smalt och till fast pris, ett brett moln för allmänt bruk. Var var och en vinner.8 min läsning
- Privat LLM-drift mot Hetzners GPU-servrar för EU-företagPrisvärd dedikerad hårdvara från en välkänd tysk serverleverantör, jämförd med en maskin med enhetligt minne byggd för inferens. Var var och en vinner.8 min läsning
- Privat LLM-drift mot CoreWeave för EU-företagEn dedikerad DGX Spark i EU för 0,79 USD/timme mot CoreWeaves GPU-moln för företag: klusterskala, minimiavtal, dataplats och var var och en faktiskt passar.8 min läsning
- Privat LLM-drift mot Vast.ai för EU-företagEn dedikerad DGX Spark i EU för 0,79 USD/timme mot Vast.ai:s GPU-marknadsplats mellan privatpersoner: vem som faktiskt äger lådan, dataplats, tillförlitlighet och var var och en vinner.8 min läsning
- Privat AI mot ChatGPT EnterpriseDär ChatGPT Enterprises avtalsmässiga kontroller slutar och en dedikerad maskins datalagringsplats börjar.7 min läsning
- DGX Spark mot GPU-instanser i molnetAtt äga en dedikerad Spark jämfört med att hyra GPU-tid per token eller per timme, jämfört på kostnad och kontroll.7 min läsning
- LLM i egen drift mot hanterade plattformarVad du tar på dig när du kör modellen själv, och vad en hanterad plattform ändå lämnar i dina händer.7 min läsning
Vanliga frågor om regelefterlevnad.
Följer det GDPR?
GPUwerk tillhandahåller det underlag du behöver: hårdvara och drift i EU-Central, ett personuppgiftsbiträdesavtal enligt artikel 28, inga underbiträden för arbetslaster på GPUwerks egna nivåer och dedikerade maskiner med en enda kund vars innehåll GPUwerk inte kommer åt, läser, kopierar, indexerar eller analyserar. Administratörsåtkomst till infrastrukturen på den underliggande maskinen finns, som hos alla tjänsteleverantörer, och enligt personuppgiftsbiträdesavtalet används den inte på ditt innehåll utom på din begäran för support eller när en rättslig skyldighet kräver det. Du är fortfarande personuppgiftsansvarig, så regelefterlevnaden för själva behandlingen är din att intyga.
Skriver GPUwerk under ett personuppgiftsbiträdesavtal?
Ja, ett standardavtal om personuppgiftsbiträde enligt artikel 28 i GDPR publiceras på /legal/dpa utan kostnad. GPUwerks lista över underbiträden för arbetslaster är kort: på GPUwerks egna nivåer finns det inga; Partner-nivån körs på en partnervärd.
Kan vårt dataskyddsombud granska upplägget?
Ja. GPUwerk tillhandahåller dokumentation om den fysiska platsen, åtkomstkontroller och raderingsrutiner, och besvarar dataskyddsombudens frågeformulär direkt. Skicka ditt dataskyddsombuds frågor.
Vad händer med vår data när vi avslutar?
När du avslutar raderas din container och dess /workspace-volym från noden. Innan den noden erbjuds till en annan kund saneras den: alla kundcontainrar och volymer tas bort, och noden underkänns i driftklarhetskontrollen och tilldelas inte så länge någon av dem finns kvar. Det här är radering på filsystemsnivå. GPUwerk använder inte självkrypterande diskar eller fullständig diskkryptering på noderna, så GPUwerk gör inga påståenden om kryptografisk radering. GPUwerk sparar ingen kopia av din arbetsyta någon annanstans: ingen säkerhetskopia och ingen återställningskopia. Om en disk går sönder förloras arbetsytan på den, så behåll en egen kopia. Om din kredit når noll eller du når din månadsbudget stoppas instansen och maskinen frigörs. Arbetsytan finns kvar på den maskinen i upp till 48 timmar. Fyll på eller höj budgeten och starta den igen inom den tiden så fortsätter den där den slutade, om inte någon annan har hyrt maskinen, vilket raderar den tidigare. Efter 48 timmar raderas den permanent. Mejl om lågt saldo varnar dig innan det händer; automatisk påfyllning gör det mindre sannolikt, men en betalning kan misslyckas.
Täcker det här även EU:s AI-förordning, inte bara GDPR?
Dedikerad hårdvara ändrar inte din risknivå eller din roll som leverantör/tillhandahållare enligt EU:s AI-förordning, det beror på vad ditt system gör, inte var det körs. Vad den ger dig är ett tydligt svar på vem som kan komma åt din data medan modellen körs, vilket är användbart underlag för de skyldigheter på tillhandahållarsidan som de flesta företag som driftar själva faktiskt har. Se GDPR och EU:s AI-förordning på dedikerad hårdvara för helhetsbilden på en sida.
Mer än infrastrukturen
Praktiskt utrullningspaket.
Om du behöver mer än infrastruktur kan jag lägga till ett avgränsat uppdrag med tydliga leveranser för introduktion av teamet och integration.
Projektgenomgång
Definiera användningsfallets gränser, latensmål och vem som äger godkännandet för produktion.
Utbildning för teamet
Praktiska sessioner om promptkvalitet, styrningsmönster och vanlig drift.
Färdplan för integration
Planera utrullningen av API:et, inklusive vad dina verktyg ska göra när instansen är stoppad eller upptagen.
Väck ditt AI-projekt till liv.
Driftsätt en Spark och testa den själv, eller fråga personen som sköter racken. Första påfyllningen: betala 20 USD, få 30 USD i kredit.