Hosting privatnog LLM-a u EU-Central

Vaši modeli. Vaši podaci. Jedan korisnik: vi.

Hosting privatnog LLM-a na cijelim namjenskim strojevima u EU-Central. Vaši se podaci obrađuju u EU, nikad se ne koriste za treniranje i nijedan drugi korisnik ne dotiče vaš GPU.

0,79 USD/sat, naplata po minuti · platite 20 USD, dobijete 30 USD kredita uz prvu nadoplatu

Ukratko.

1korisnik

Jedan korisnik po stroju

Cijeli namjenski stroj, dodijeljen vama. Bez dijeljenih GPU-ova.

0

Podizvršitelji obrade za radna opterećenja

Na GPUwerkovim vlastitim razinama. Popis podizvršitelja obrade kratak je: za radna opterećenja instanci ondje ih nema; partnerska razina radi kod partnerskog hosta.

Čl.28

Ugovor o obradi podataka prema GDPR-u

Objavljeno na /legal/dpa, bez naknade.

Tri straha

Tri straha, s odgovorima.

Svaka tvrtka s kojom razgovaram dolazi s iste tri brige. Ovako se svaka od njih rješava.

„Naši podaci napuštaju EU”

Ne utječe. Hardver je fizički u EU-Central, a vodi ga PRINT IT! SE, Societas Europaea registrirana u Pragu. Nema američke matične tvrtke ni, na GPUwerkovim vlastitim razinama, američke regije iza tog stroja. Nekoliko usluga koje GPUwerk oko toga koristi, primjerice transakcijska e-pošta, navedene su sa svojim pružateljima i zemljama na popisu podizvršitelja obrade. Lokacija podataka nije kvačica u postavkama, nego mjesto na kojem je stroj pričvršćen u rack.

„Pružatelj trenira na našim podacima”

GPUwerk vodi infrastrukturu, a ne modele: vaši se upiti i dokumenti obrađuju na vašem namjenskom stroju, softverom koji ste sami instalirali, dostupnim samo preko vaših SSH ključeva i terminala u pregledniku u vašoj konzoli. Kao i na svakoj hostiranoj usluzi, GPUwerk zadržava administratorski pristup infrastrukturi osnovnog stroja, no prema pravilu utvrđenom u GPUwerkovu ugovoru o obradi podataka GPUwerk ne pristupa sadržaju vašeg radnog prostora osim na vaš zahtjev radi podrške ili gdje to zahtijeva pravna obveza, pa nema ničega za treniranje. U svakom slučaju, tako stoji u ugovoru. Jedino treniranje koje se odvija vaše je, na vašim podacima.

„Zaposlenici lijepe poslovne tajne u ChatGPT”

Blokiranje to seli na osobne telefone. Rješenje je odobrena alternativa koja je jednako praktična: asistent klase ChatGPT na vašoj vlastitoj instanci, isto sučelje za razgovor, isti API, a svaki upit ostaje na namjenskom stroju dodijeljenom samo vama. Pogledajte kako se postavlja privatni ChatGPT →

Za vašeg službenika za zaštitu podataka

Napisano tako da to vaš službenik za zaštitu podataka može proslijediti.

Slika usklađenosti u jednoj tablici, jednostavnim jezikom, bez marketinga.

PitanjeOdgovor
Gdje se podaci fizički obrađuju?EU-Central, na namjenskom stroju dodijeljenom samo vama
Tko je operator?PRINT IT! SE, Societas Europaea registrirana u Pragu u Češkoj (matični broj 069 60 090). Bez matične tvrtke izvan EU-a.
Tko može pristupiti sadržaju instance?Preko same instance samo vlasnici vaših SSH ključeva i vi, preko terminala u pregledniku u svojoj GPUwerk konzoli; prijava lozinkom isključena je na cijeloj floti. GPUwerk zadržava administratorski pristup infrastrukturi osnovnog stroja, kao i na svakoj hostiranoj usluzi, a prema ugovoru o obradi podataka ne koristi ga na vašem sadržaju osim na vaš zahtjev radi podrške ili ondje gdje to zahtijeva pravna obveza. HTTPS krajnja točka slike s modelom dostupna je svakome tko ima URL dok ispred nje ne postavite posrednik s autentifikacijom, primjerice LiteLLM.
Čita li GPUwerk podatke iz upita ili modela?Ne. GPUwerk hostira hardver i vodi naplatu te, prema ugovoru o obradi podataka, ne pristupa sadržaju radnih opterećenja, ne čita ga, ne kopira, ne indeksira niti analizira
Koriste li se podaci korisnika za treniranje?Ne, ugovorno, a budući da GPUwerk ne pristupa vašem sadržaju, nema ni na čemu trenirati
Podizvršitelji obrade za radna opterećenja?Nema ih na GPUwerkovim vlastitim razinama (partnerska razina radi kod partnerskog hosta)
Ugovor o obradi podataka (čl. 28. GDPR-a)?Objavljeno na /legal/dpa, bez naknade
Podaci pri ukidanju instance?Spremnik i volumen radnog prostora brišu se s čvora, a čvor se sanira prije nego što se ponudi bilo kome drugome. Brisanje na razini datotečnog sustava, a ne kriptografsko brisanje.

Arhitektura

Arhitektura je argument.

Malo strelica, svaka dokumentirana: kraći pregled za službenika za zaštitu podataka.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Uspoređujete ovo s API-jem koji naplaćuje po tokenu? Pročitajte hosting privatnog LLM-a naspram OpenAI-jeva API-ja ili hosting privatnog LLM-a naspram Azure AI Foundryja za lokaciju podataka, tko može vidjeti vaše upite i izmjerenu propusnost.

Regulirana djelatnost

Zdravstvo, pravo, financije i javni sektor.

Timovi u tim područjima postavljaju ista tri pitanja: gdje je stroj, tko mu još može prići i što piše u ugovoru. Odgovori su isti za svaki sektor. Stroj je u EU-Central i dodijeljen jednom korisniku. GPUwerk zadržava uobičajen administratorski pristup kako bi ga vodio, a ugovor o obradi podataka prema članku 28. i popis podizvršitelja obrade opisuju što to obuhvaća.

Namjenski stroj sam po sebi ne čini radno opterećenje usklađenim. Medicinski zapisi pacijenata, povjerljivi spisi predmeta, podaci o plaćanju i podaci o građanima imaju svaki svoja pravila, a vaš službenik za zaštitu podataka ili pravni savjetnik odlučuje zadovoljava li ih ovakva postavka. GDPR i Akt EU-a o umjetnoj inteligenciji na namjenskom hardveru navodi dokaze koje GPUwerk može dostaviti.

Vodiči

Usporedbe pružatelja.

Usporedbe s cijenama provjerenima na stranicama svakog pružatelja. Popis usporedbi navodi sve ostale pružatelje.

Kako se uspoređuje

Namjenski Spark u EU-u naspram API-ja s naplatom po tokenu s kojima ga kupci uspoređuju. Lokacija podataka, tko može vidjeti vaše upite i gdje koja ima prednost.Pregledajte 11 vodiča

Česta pitanja o usklađenosti.

Je li usklađeno s GDPR-om?

GPUwerk pruža dokaze koji vam trebaju: hardver i rad u EU-Central, ugovor o obradi podataka prema članku 28., bez podizvršitelja obrade za radna opterećenja na GPUwerkovim vlastitim razinama te namjenske strojeve s jednim korisnikom čijem sadržaju GPUwerk ne pristupa, ne čita ga, ne kopira, ne indeksira niti analizira. Administratorski pristup infrastrukturi osnovnog stroja postoji, kao i na svakoj hostiranoj usluzi, a prema ugovoru o obradi podataka ne koristi se na vašem sadržaju osim na vaš zahtjev radi podrške ili ondje gdje to zahtijeva pravna obveza. Vi ostajete voditelj obrade, pa je usklađenost same obrade na vama.

Potpisujete li ugovor o obradi podataka?

Da, standardni ugovor o obradi podataka prema članku 28. GDPR-a objavljen je na /legal/dpa bez naknade. GPUwerkov popis podizvršitelja obrade za radna opterećenja kratak je: na GPUwerkovim vlastitim razinama ih nema; partnerska razina radi kod partnerskog hosta.

Može li naš službenik za zaštitu podataka provesti reviziju ovakve konfiguracije?

Da. GPUwerk pruža dokumentaciju o fizičkoj lokaciji, kontrolama pristupa i postupcima brisanja te izravno odgovara na upitnike službenika za zaštitu podataka. Pošaljite pitanja svog službenika za zaštitu podataka.

Što se događa s našim podacima kad ukinemo instancu?

Ukidanjem se s čvora brišu vaš spremnik i njegov volumen /workspace. Prije nego što se taj čvor ponudi drugom korisniku, čisti se: uklanjaju se svi korisnički spremnici i volumeni, a čvor dok god ijedan od njih ostane ne prolazi provjeru spremnosti i ne dodjeljuje se. To je brisanje na razini datotečnog sustava. GPUwerk na čvorovima ne koristi diskove koji se sami šifriraju ni šifriranje cijelog diska, pa ne tvrdi da provodi kriptografsko brisanje. GPUwerk nigdje drugdje ne čuva kopiju vašeg radnog prostora: ni sigurnosnu kopiju ni kopiju za oporavak. Ako disk otkaže, radni prostor na njemu je izgubljen, pa držite vlastitu kopiju. Ako vam kredit padne na nulu ili dosegnete mjesečni proračun, instanca se zaustavlja i njezin stroj oslobađa. Radni prostor ostaje na tom stroju do 48 sati. Nadoplatite ili podignite proračun i ponovno ga pokrenite u tom roku pa će nastaviti gdje je stao, osim ako stroj u međuvremenu ne unajmi netko drugi, čime se briše ranije. Nakon 48 sati briše se zauvijek. E-poruke o niskom stanju upozoravaju vas prije toga; automatska nadoplata to čini manje vjerojatnim, ali plaćanje može biti neuspješno.

Pokriva li ovo i Akt EU-a o umjetnoj inteligenciji, a ne samo GDPR?

Namjenski hardver ne mijenja vašu razinu rizika prema Aktu EU-a o umjetnoj inteligenciji ni status pružatelja odnosno subjekta koji uvodi sustav; to ovisi o tome što vaš sustav radi, a ne o tome gdje se izvodi. Ono što vam daje jest jasan odgovor na pitanje tko može pristupiti vašim podacima dok model radi, što je korisan dokaz za obveze na strani subjekta koji uvodi sustav, a s kojima se susreće većina tvrtki koje same hostiraju. Pogledajte GDPR i Akt EU-a o umjetnoj inteligenciji na namjenskom hardveru za cjelovitu sliku na jednoj stranici.

Više od infrastrukture

Praktičan paket za uvođenje.

Ako vam treba više od infrastrukture, mogu dodati jasno omeđen angažman s određenim isporukama za uvođenje tima i integraciju.

  1. Prijava projekta

    Definirajte granice primjene, ciljeve latencije i tko odobrava odlazak u produkciju.

  2. Edukacija tima

    Praktične sesije o kvaliteti upita, obrascima upravljanja i uobičajenom radu sustava.

  3. Plan integracije po koracima

    Isplanirajte uvođenje API-ja, uključujući i to što bi vaši alati trebali raditi dok je instanca zaustavljena ili zauzeta.

Pogledajte kako angažman funkcionira

Ostvarite svoj AI projekt.

Pokrenite Spark i sami ga isprobajte ili pitajte čovjeka koji vodi rackove. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita.