Găzduire LLM privată în EU-Central

Modelele dvs. Datele dvs. Un singur client: dvs.

Găzduire LLM privată pe mașini întregi, dedicate, în EU-Central. Datele dvs. sunt prelucrate în UE, nu sunt folosite niciodată pentru antrenare, iar niciun alt client nu vă atinge vreodată GPU-ul.

0,79 $/oră, facturat pe minut · plătiți 20 $, primiți 30 $ credit la prima reîncărcare

Pe scurt.

1client

Un singur client per mașină

O mașină întreagă, dedicată, atribuită dvs. Fără GPU-uri partajate.

0

Subprocesatori pentru workload-uri

Pe nivelurile proprii GPUwerk. Lista de subprocesatori este scurtă: niciunul pentru workload-urile instanțelor de acolo; nivelul Partner rulează pe o gazdă parteneră.

Art.28

Acord GDPR de prelucrare a datelor

Publicat la /legal/dpa, gratuit.

Cele trei temeri

Cele trei temeri, cu răspuns.

Fiecare companie cu care vorbesc vine cu aceleași trei griji. Iată exact cum este tratată fiecare.

„Datele noastre părăsesc UE”

Nu. Hardware-ul se află fizic în EU-Central și este operat de PRINT IT! SE, o Societas Europaea înregistrată la Praga. Nu există companie-mamă în SUA și, pe nivelurile proprii GPUwerk, nicio regiune din SUA în spatele acelei mașini. Puținele servicii pe care GPUwerk le folosește în jurul ei, cum ar fi e-mailul tranzacțional, sunt enumerate cu furnizorii și țările lor în lista de subprocesatori. Rezidența datelor nu este o bifă într-un panou de setări, ci locul unde mașina este prinsă în rack.

„Furnizorul își antrenează modelele pe datele noastre”

GPUwerk operează infrastructură, nu modele: prompturile și documentele dvs. sunt procesate pe mașina dvs. dedicată, de software-ul instalat de dvs., accesibil doar prin cheile dvs. SSH și prin terminalul din browser al consolei. Ca la orice serviciu găzduit, GPUwerk păstrează accesul administratorului de infrastructură la mașina de bază, dar, ca politică stabilită în acordul de prelucrare a datelor GPUwerk, GPUwerk nu accesează conținutul spațiului dvs. de lucru decât la cererea dvs. pentru suport sau acolo unde o obligație legală o impune, deci nu există nimic pe care să fie antrenat un model. Oricum, este scris în contract. Singura antrenare care are loc este a dvs., pe propriile date.

„Angajații lipesc secrete în ChatGPT”

Blocarea mută utilizarea pe telefoanele personale. Soluția este o alternativă aprobată, la fel de comodă: un asistent din clasa ChatGPT pe propria instanță, aceeași interfață de chat, același API, fiecare prompt rămânând pe o mașină dedicată, atribuită doar dvs. Vedeți configurația ChatGPT privat →

Pentru DPO-ul dvs.

Scris pentru ca DPO-ul dvs. să-l poată trimite mai departe.

Imaginea conformității într-un singur tabel, în limbaj simplu, fără marketing.

ÎntrebareRăspuns
Unde sunt prelucrate fizic datele?EU-Central, pe o mașină dedicată cu un singur client, atribuită dvs.
Cine este operatorul?PRINT IT! SE, o Societas Europaea înregistrată la Praga, Republica Cehă (cod de identificare 069 60 090). Fără entitate-mamă din afara UE.
Cine poate accesa conținutul instanței?Prin instanța în sine, doar deținătorii cheilor dvs. SSH și dvs. prin terminalul din browser din consola GPUwerk; autentificarea cu parolă este dezactivată în toată flota. GPUwerk păstrează accesul administratorului de infrastructură la mașina de bază, ca la orice serviciu găzduit, și, conform DPA, nu îl folosește asupra conținutului dvs. decât la cererea dvs. pentru suport sau acolo unde o obligație legală o impune. Endpointul HTTPS al unei imagini de model poate fi accesat de oricine are URL-ul până când puneți în fața lui un proxy cu autentificare, precum LiteLLM.
Citește GPUwerk prompturile sau datele modelului?Nu. GPUwerk găzduiește hardware-ul și se ocupă de facturare și, conform DPA, nu accesează, citește, copiază, indexează sau analizează conținutul workload-urilor
Sunt folosite date ale clienților pentru antrenare?Nu, contractual, și cum GPUwerk nu vă accesează conținutul, nu există nimic pe care să fie antrenat un model
Subprocesatori pentru workload-uri?Niciunul pe nivelurile proprii GPUwerk (nivelul Partner rulează pe o gazdă parteneră)
DPA (GDPR art. 28)?Publicat la /legal/dpa, gratuit
Datele la terminare?Containerul și volumul spațiului de lucru șterse de pe nod, nodul igienizat înainte de a fi oferit altcuiva. Ștergere la nivel de sistem de fișiere, nu ștergere criptografică.

Arhitectură

Arhitectura este argumentul.

Puține săgeți, fiecare documentată: cu atât mai scurtă analiza DPO-ului.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Vă gândiți mai degrabă la un API per token? Citiți găzduire LLM privată vs API-ul OpenAI sau găzduire LLM privată vs Azure AI Foundry pentru locația datelor, cine vă poate vedea prompturile și debitul măsurat.

Activități reglementate

Sănătate, juridic, finanțe și sectorul public.

Echipele din aceste domenii pun aceleași trei întrebări: unde este mașina, cine altcineva o poate accesa și ce spune contractul. Răspunsurile sunt aceleași pentru fiecare sector. Mașina este în EU-Central și este atribuită unui singur client. GPUwerk păstrează accesul standard de administrator pentru a o opera, iar DPA-ul conform articolului 28 și lista de subprocesatori stabilesc ce acoperă acesta.

O mașină dedicată nu face singură un workload conform. Dosarele pacienților, documentele privilegiate ale cauzelor, datele de plată și datele cetățenilor au fiecare propriile reguli, iar responsabilul dvs. cu protecția datelor sau consilierul juridic decide dacă această configurație le respectă. GDPR și AI Act al UE pe hardware dedicat enumeră dovezile pe care GPUwerk le poate furniza.

Ghiduri

Comparații cu furnizorii.

Comparațiile cu prețuri verificate pe pagina proprie a fiecărui furnizor. Indexul comparațiilor listează toți ceilalți furnizori.

Cum se compară

Un Spark dedicat în UE comparat cu API-urile per token cu care cumpărătorii îl compară. Locația datelor, cine vă poate vedea prompturile și unde câștigă fiecare.Răsfoiți 11 ghiduri

Întrebări frecvente despre conformitate.

Este conform cu GDPR?

GPUwerk furnizează dovezile de care aveți nevoie: hardware și operațiuni în EU-Central, un acord de prelucrare a datelor conform articolului 28, niciun subprocesator pentru workload-uri pe nivelurile proprii GPUwerk și mașini dedicate cu un singur client, al căror conținut GPUwerk nu îl accesează, citește, copiază, indexează sau analizează. Accesul administratorului de infrastructură la mașina de bază există, ca la orice serviciu găzduit, iar conform DPA nu este folosit asupra conținutului dvs., decât la cererea dvs. pentru suport sau acolo unde o obligație legală o impune. Rămâneți operatorul de date, deci conformitatea prelucrării în sine vă revine dvs. să o afirmați.

Semnați un DPA?

Da, un DPA standard conform articolului 28 GDPR este publicat gratuit la /legal/dpa. Lista de subprocesatori GPUwerk pentru workload-uri este scurtă: pe nivelurile proprii GPUwerk nu există niciunul; nivelul Partner rulează pe o gazdă parteneră.

Poate DPO-ul nostru să auditeze configurația?

Da. GPUwerk furnizează documentație despre locația fizică, controalele de acces și procedurile de ștergere și răspunde direct la chestionarele DPO. Trimiteți întrebările DPO-ului dvs..

Ce se întâmplă cu datele noastre când terminăm instanța?

Terminarea șterge containerul și volumul /workspace de pe nod. Înainte ca acel nod să fie oferit altui client, acesta este igienizat: fiecare container și volum de client este eliminat, iar nodul nu trece verificarea de disponibilitate și nu este alocat cât timp mai rămâne vreunul. Este o ștergere la nivel de sistem de fișiere. GPUwerk nu folosește pe noduri unități cu autocriptare sau criptarea întregului disc, deci nu afirmă o ștergere criptografică. GPUwerk nu păstrează nicio copie a spațiului dvs. de lucru în altă parte: nici backup, nici copie de recuperare. Dacă o unitate se defectează, spațiul de lucru de pe ea se pierde, așa că păstrați-vă propria copie. Dacă creditul ajunge la zero sau atingeți bugetul lunar, instanța este oprită și mașina eliberată. Spațiul de lucru rămâne pe acea mașină până la 48 de ore. Reîncărcați sau măriți bugetul și porniți-o din nou în acest interval și continuă de unde a rămas, cu excepția cazului în care altcineva a închiriat mașina, ceea ce îl șterge mai devreme. După 48 de ore este șters definitiv. E-mailurile de sold redus vă avertizează înainte; reîncărcarea automată face acest lucru mai puțin probabil, dar o plată poate eșua.

Acoperă asta și AI Act al UE, nu doar GDPR?

Hardware-ul dedicat nu vă schimbă categoria de risc conform AI Act al UE sau statutul de furnizor/implementator; acestea depind de ce face sistemul dvs., nu de unde rulează. Ce vă oferă este un răspuns clar la întrebarea cine vă poate accesa datele în timp ce modelul rulează, o dovadă utilă pentru obligațiile de implementator cu care se confruntă de fapt majoritatea companiilor care își găzduiesc singure modelele. Vedeți GDPR și AI Act al UE pe hardware dedicat pentru imaginea completă într-o singură pagină.

Dincolo de infrastructură

Pachet practic de lansare.

Dacă aveți nevoie de mai mult decât infrastructură, pot adăuga o colaborare cu scop definit și livrabile clare pentru integrarea echipei și a sistemelor.

  1. Evaluarea inițială a proiectului

    Definiți limitele cazului de utilizare, obiectivele de latență și cine aprobă trecerea în producție.

  2. Instruirea echipei

    Sesiuni practice despre calitatea prompturilor, tipare de guvernanță și operațiuni uzuale.

  3. Foaie de parcurs pentru integrare

    Planificați lansarea API-ului, inclusiv ce ar trebui să facă instrumentele când instanța este oprită sau ocupată.

Vedeți cum funcționează colaborarea

Dați viață proiectului dvs. AI.

Lansați un Spark și testați-l singur sau întrebați persoana care administrează rackurile. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit.