Indhold i guiden
En AI-server er en server, der kører AI-modeller – typisk sprogmodeller – på infrastruktur, du selv kontrollerer, i stedet for at sende dine data til en ekstern AI-tjeneste. Serveren indlæser en model og stiller den til rådighed via et API, som dine applikationer, medarbejdere eller kunder kan bruge.
Det giver dig kontrol over, hvor dine data behandles, hvilken model der bruges, og hvordan den er konfigureret. Til gengæld har du selv ansvaret for drift, ydelse og sikkerhed.
I denne guide ser vi på, hvordan en AI-server er bygget op, de mest udbredte inferensservere (Ollama, vLLM og llama.cpp), hvornår en almindelig VPS er nok, hvornår du har brug for GPU, og hvordan du undgår at åbne et usikret AI-API mod internettet.
Hvorfor køre AI-modeller selv?
Der findes i dag mange åbne modeller (open-weight-modeller), som du frit kan downloade og køre. Det åbner for at bygge AI-løsninger uden at være afhængig af en bestemt ekstern tjeneste.
- Kontrol over data: Prompts, dokumenter og svar forlader ikke den infrastruktur, du har valgt.
- Forudsigelighed: Du bestemmer selv, hvornår modellen opdateres, så et svar ikke pludselig ændrer karakter, fordi en udbyder har skiftet model.
- Tilpasning: Du kan vælge præcis den model, der passer til opgaven, finjustere den på egne data og konfigurere den frit.
- Integration: Modellen kan køre tæt på dine øvrige systemer, fx databaser og interne værktøjer.
Ulempen er, at du selv skal vælge hardware, holde softwaren opdateret og sikre serveren. Og de største kommercielle modeller er ikke tilgængelige til selvhosting.
Databeskyttelse og GDPR
Behandler din AI-løsning personoplysninger – fx kundehenvendelser, CV’er eller journalnotater – gælder GDPR. Når du kører modellen på egen infrastruktur, bliver det enklere at dokumentere, hvor data behandles, og hvem der har adgang. Du undgår at skulle vurdere, om en ekstern AI-tjeneste gemmer prompts, bruger dem til træning eller overfører dem til lande uden for EU/EØS.
Selvhosting fritager dig dog ikke for ansvar. Du er stadig dataansvarlig og skal fx have styr på behandlingsgrundlag, sletning, adgangsstyring og logning. Lejer du serveren hos en hostingudbyder, behandler udbyderen typisk data på dine vegne, og så bør der foreligge en databehandleraftale. Husk også, at logs fra inferensserveren kan indeholde fulde prompts med personoplysninger.
Sådan er en AI-server bygget op
En AI-server består af flere lag. Det nederste er hardware, det øverste er de applikationer, der bruger modellen.
- Applikationerchat-brugerflade, interne værktøjer, RAG-søgning i dokumenter, automatisering
- Reverse proxyTLS, login eller API-nøgler, rate limiting (fx nginx eller Caddy)
- InferensserverOllama, vLLM eller llama.cpp med et HTTP-API
- Modelvægtfiler i fx safetensors- eller GGUF-format, evt. kvantiseret
- Runtime og drivereCUDA og GPU-driver – eller ren CPU
- Hardware og OSLinux-server med CPU, RAM, NVMe og evt. GPU
Mange inferensservere tilbyder et API, der er kompatibelt med det format, OpenAI’s API bruger. Det betyder, at eksisterende biblioteker og værktøjer ofte kan pege på din egen server blot ved at ændre adresse og nøgle.
De mest udbredte inferensservere
Ollama
Ollama er det nemmeste sted at starte. Du installerer ét program, henter en model med én kommando og har straks et lokalt API. Ollama bruger GPU, hvis den er tilgængelig, og falder ellers tilbage til CPU. Som standard lytter den kun på 127.0.0.1 port 11434, hvilket er en fornuftig og sikker standard.
$ ollama pull llama3.2
$ ollama run llama3.2 "Forklar hvad DNS er i to sætninger"
$ curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2","prompt":"Hej"}'
vLLM
vLLM er bygget til ydelse og mange samtidige brugere på GPU. Den bruger blandt andet en effektiv håndtering af KV-cache (PagedAttention) og samler forespørgsler i batches, så GPU’en udnyttes bedre. vLLM starter en OpenAI-kompatibel server, som standard på port 8000, og understøtter at dele en model over flere GPU’er. Det er et oplagt valg, når en model skal i produktion med reel trafik.
$ vllm serve Qwen/Qwen2.5-7B-Instruct --host 127.0.0.1 --port 8000 --api-key "$VLLM_API_KEY"
llama.cpp
llama.cpp er en letvægts inferensmotor skrevet i C/C++, som bruger GGUF-formatet og er særligt god til kvantiserede modeller. Den kører effektivt på CPU, men kan også bruge GPU. Med llama-server får du et HTTP-API og en simpel webbrugerflade. Den er et godt valg til små servere og til at køre modeller uden GPU.
| Egenskab | Ollama | vLLM | llama.cpp |
|---|---|---|---|
| Styrke | Nem opsætning og modelhåndtering | Høj ydelse ved mange samtidige brugere | Let, effektiv på CPU og kvantiserede modeller |
| Hardware | CPU eller GPU | Primært GPU | CPU eller GPU |
| Modelformat | Eget bibliotek (GGUF-baseret) | Typisk Hugging Face-modeller | GGUF |
| Indbygget adgangskontrol | Nej – beskyt med reverse proxy | Simpel API-nøgle | Simpel API-nøgle |
| Bedst til | Test, udvikling, interne værktøjer | Produktion med trafik | Små servere, CPU-drift |
CPU på en VPS eller GPU?
Du behøver ikke en GPU for at komme i gang. Små sprogmodeller med 1–8 milliarder parametre, kvantiseret til 4 bit, fylder kun nogle få GB og kan køre på CPU med llama.cpp eller Ollama. På en VPS med nok RAM og flere vCPU’er kan det give brugbare svar til test, prototyper og interne værktøjer med få brugere – bare langsommere end på GPU.
Tommelfingerregler for CPU-drift:
- RAM: Modelfilen skal kunne ligge i RAM med plads til operativsystem og kontekst. En 4-bit-model på 7–8B kræver typisk 8 GB RAM eller mere i alt.
- CPU: Flere og hurtigere kerner giver flere tokens pr. sekund, men hukommelsesbåndbredde er ofte begrænsningen.
- NVMe: Gør indlæsning af modeller hurtig.
Du har brug for GPU, når modellen er større, svartiden skal være lav, eller mange skal bruge den samtidig. Hvordan du dimensionerer GPU og VRAM, kan du læse i guiden til at vælge den rigtige GPU-server til AI. Er du i tvivl om forskellen, så start med hvad GPU-hosting er.
Sådan sætter du en AI-server sikkert op
Den hyppigste fejl ved selvhostet AI er at åbne inferensserverens port direkte mod internettet. Et åbent API kan misbruges af alle, der finder det: til at bruge din regnekraft gratis, til at hente eller slette modeller og til at overbelaste serveren. Følg disse trin i stedet.
- Lad inferensserveren lytte lokalt. Bind den til
127.0.0.1eller et privat netværk. Ændr kun OllamasOLLAMA_HOSTtil0.0.0.0, hvis du ved præcis, hvorfor du gør det. - Sæt en reverse proxy foran. nginx eller Caddy håndterer HTTPS, adgangskontrol og videresender til den lokale port.
- Kræv godkendelse. Brug API-nøgler, login eller en VPN, så kun dine egne applikationer og brugere har adgang.
- Begræns trafikken. Rate limiting og grænser for request-størrelse og kontekstlængde forhindrer, at en enkelt klient lægger serveren ned.
- Luk resten i firewallen. Kun port 22 (eller din SSH-port) og 443 bør være åbne udefra. Se sådan konfigurerer du en firewall på din Linux-server.
- Sikr fjernadgangen. Brug SSH-nøgler og slå adgangskodelogin fra – læs hvordan du sikrer din SSH-forbindelse.
- Tænk over logning. Log det nødvendige til fejlfinding og misbrugsopsporing, men undgå at gemme fulde prompts med personoplysninger længere end nødvendigt.
$ sudo ufw default deny incoming
$ sudo ufw allow 22/tcp
$ sudo ufw allow 443/tcp
$ sudo ufw enable
$ ss -tlnp | grep -E '11434|8000|8080'
# Bekræft at inferensserveren kun lytter på 127.0.0.1
Typiske anvendelser
- Intern assistent: En chatbrugerflade til medarbejdere, hvor data bliver på egen infrastruktur.
- Dokumentsøgning (RAG): Modellen besvarer spørgsmål ud fra virksomhedens egne dokumenter, som hentes fra en vektordatabase.
- Automatisering: Klassificering af e-mails, opsummering af sager eller udtræk af data fra tekst.
- Udvikling: Kodeassistance og test af AI-funktioner før produktion.
Til mindre forsøg kan du starte på en almindelig Linux VPS og køre en lille model på CPU. Har du brug for GPU-kraft, leverer IDHosting GPU-servere efter forespørgsel via kontaktsiden.
Opsummering
En AI-server kører modeller på din egen infrastruktur og stiller dem til rådighed via et API. Ollama er nemmest at komme i gang med, vLLM er bygget til ydelse på GPU med mange brugere, og llama.cpp er stærk til kvantiserede modeller på CPU. Små modeller kan sagtens køre på en VPS uden GPU, mens større modeller og mange samtidige brugere kræver GPU. Selvhosting gør det lettere at holde styr på data i forhold til GDPR, men flytter også ansvaret for sikkerheden til dig: Lad inferensserveren lytte lokalt, og eksponér den kun via en reverse proxy med HTTPS, godkendelse og rate limiting.
Ofte stillede spørgsmål
Kan jeg køre en AI-model på en almindelig VPS?
Ja, små kvantiserede modeller kan køre på CPU med llama.cpp eller Ollama. Det kræver nok RAM til modellen og giver langsommere svar end en GPU, men er fint til test, prototyper og interne værktøjer med få brugere.
Gør selvhosting min AI-løsning GDPR-compliant?
Ikke automatisk. Selvhosting gør det lettere at kontrollere, hvor data behandles, men du skal stadig have behandlingsgrundlag, adgangsstyring, sletteprocedurer og en databehandleraftale med din hostingudbyder, hvis serveren lejes.
Er det farligt at åbne Ollamas port mod internettet?
Ja. Ollamas API har ingen indbygget adgangskontrol, så alle, der finder porten, kan bruge din server og håndtere dine modeller. Lad Ollama lytte på 127.0.0.1, og eksponér den kun via en reverse proxy med HTTPS og godkendelse.
Hvilken inferensserver skal jeg vælge?
Start med Ollama, hvis du vil i gang hurtigt. Vælg vLLM, når du har GPU og mange samtidige brugere. Vælg llama.cpp, hvis du vil køre kvantiserede modeller effektivt på CPU eller have fuld kontrol med en let løsning.
Kan mine eksisterende værktøjer bruge min egen AI-server?
Ofte ja. vLLM, llama.cpp og Ollama tilbyder OpenAI-kompatible endpoints, så mange biblioteker og værktøjer kan pege på din egen server ved blot at ændre base-URL og API-nøgle.
Kilder og videre læsning
Var guiden nyttig?