Indhold i guiden
Den vigtigste beslutning, når du vælger en GPU-server til AI, er ikke “hvilket kort er hurtigst”, men “hvor meget VRAM kræver min model, og hvad skal den bruges til”. En model, der ikke kan ligge i grafikkortets hukommelse, kører enten slet ikke eller meget langsomt – uanset hvor meget regnekraft kortet har.
I denne guide lærer du at regne dig frem til et realistisk VRAM-behov ud fra modellens størrelse og præcision, hvad KV-cache er, og hvordan CPU, RAM, NVMe, netværk, drivere og containere spiller ind. Målet er, at du kan beskrive dit behov præcist, før du vælger hardware.
Guiden forudsætter, at du kender grundbegreberne. Er du ny i emnet, så start med hvad GPU-hosting er, og hvornår du har brug for en GPU-server.
Start med opgaven: træning, finjustering eller inferens?
Behovet for hardware afhænger mere af, hvad du vil gøre med modellen, end af modellen selv.
- Inferens: Du bruger en færdig model til at generere svar. Her skal modellens vægte plus en buffer til samtaler (KV-cache) kunne ligge i VRAM.
- Finjustering med LoRA/QLoRA: Du træner kun et lille sæt ekstra parametre oven på en frossen model. Det kræver mere end inferens, men langt mindre end fuld træning.
- Fuld træning eller fuld finjustering: Alle parametre opdateres. Ud over vægtene skal der være plads til gradienter, optimizer-tilstand og aktiveringer. Det kræver mange gange mere hukommelse end inferens.
Sådan beregner du VRAM-behovet
Udgangspunktet er enkelt: Hver parameter i modellen fylder et bestemt antal bytes, afhængigt af hvilken præcision den gemmes i.
| Præcision | Bytes pr. parameter | Vægte for en 7B-model | Vægte for en 70B-model |
|---|---|---|---|
| FP32 (32 bit) | 4 | ca. 28 GB | ca. 280 GB |
| FP16 / BF16 (16 bit) | 2 | ca. 14 GB | ca. 140 GB |
| INT8 (8 bit) | 1 | ca. 7 GB | ca. 70 GB |
| 4-bit kvantisering | ca. 0,5 | ca. 3,5–4 GB | ca. 35–40 GB |
Tommelfingerreglen er altså: antal milliarder parametre × bytes pr. parameter = GB til vægtene. En model med 8 milliarder parametre i FP16 fylder ca. 8 × 2 = 16 GB. Samme model kvantiseret til 4 bit fylder ca. 4–5 GB, fordi kvantiserede formater også gemmer lidt ekstra metadata.
Kvantisering: mindre hukommelse for en lille kvalitetspris
Kvantisering betyder, at modellens vægte gemmes med færre bit. Det sparer VRAM og gør ofte inferens hurtigere, fordi der skal flyttes mindre data. Prisen er et vist tab af præcision. 8 bit giver typisk et meget lille tab, mens 4 bit giver et større, men ofte acceptabelt tab – særligt for større modeller. En stor model i 4 bit er ofte bedre end en lille model i fuld præcision, men test altid på dine egne opgaver.
KV-cache: den skjulte hukommelsesforbruger
Når en sprogmodel genererer tekst, gemmer den mellemresultater for alle tidligere tokens i samtalen, så de ikke skal beregnes igen. Det kaldes KV-cache (key/value-cache). Den vokser med kontekstlængden og med antallet af samtidige brugere.
Størrelsen kan groft beregnes sådan:
KV-cache pr. token = 2 × antal lag × antal KV-heads × head-dimension × bytes pr. værdi
Et eksempel: En model med 32 lag, 8 KV-heads og en head-dimension på 128 i FP16 bruger 2 × 32 × 8 × 128 × 2 bytes = 131.072 bytes, altså ca. 128 KB pr. token. Med en kontekst på 8.000 tokens bliver det ca. 1 GB – for én samtale. Serverer du 20 samtidige brugere med lang kontekst, kan KV-cachen let fylde mere end selve modellen.
Træning kræver langt mere
Ved fuld træning med den udbredte Adam-optimizer i mixed precision regner man ofte med omkring 16 bytes pr. parameter til vægte, gradienter og optimizer-tilstand – før aktiveringer. En 7B-model kræver dermed i størrelsesordenen 110 GB eller mere, hvilket betyder flere GPU’er. Teknikker som LoRA og QLoRA, gradient checkpointing og opdeling af optimizer-tilstanden på tværs af GPU’er kan reducere behovet betydeligt.
Et samlet regneeksempel
- Vælg model og præcision. Fx en 8B-model i FP16: ca. 16 GB til vægte.
- Beregn KV-cache. 10 samtidige brugere med 8.000 tokens kontekst à ca. 1 GB: ca. 10 GB.
- Læg overhead til. CUDA-kontekst, mellemresultater og fragmentering: regn med 10–20 % ekstra.
- Summér. Ca. 16 + 10 + 4 = 30 GB. Et kort med 24 GB er for lidt; et kort med 40–48 GB giver plads. Alternativt kan du kvantisere modellen til 8 bit og komme ned omkring 20 GB.
Regnekraft: når VRAM er på plads
Når modellen kan ligge i hukommelsen, afgør regnekraft og hukommelsesbåndbredde hastigheden.
- Hukommelsesbåndbredde er ofte den begrænsende faktor ved inferens for én bruger ad gangen, fordi alle vægte skal læses for hvert genereret token. Kort med HBM-hukommelse har typisk væsentligt højere båndbredde end kort med GDDR.
- Tensor-ydelse (beregninger i FP16, BF16, FP8 eller INT8 på specialiserede kerner) betyder mest ved træning og ved inferens med mange samtidige forespørgsler.
- Understøttede formater varierer mellem GPU-generationer. Nyere generationer understøtter fx flere lavpræcisionsformater, som frameworks kan udnytte.
Generelle GPU-klasser
Uden at gå i detaljer med konkrete modeller kan GPU’er til AI groft deles i tre klasser. Oversigten er generel og siger ikke noget om, hvilke kort en bestemt udbyder har på lager.
| Klasse | Typisk VRAM | Egnet til | Begrænsninger |
|---|---|---|---|
| Forbruger-/gaming-GPU’er | 8–32 GB | Inferens af små og mellemstore modeller, eksperimenter, LoRA | Begrænset VRAM, ofte ikke beregnet til drift i servere døgnet rundt |
| Workstation-/professionelle GPU’er | Ofte 24–48 GB eller mere | Inferens af større modeller, rendering, finjustering | Lavere båndbredde end datacenterkort |
| Datacenter-GPU’er | Fra ca. 24 GB op til 80 GB og mere | Træning, inferens i stor skala, multi-GPU | Højere pris og strøm- og køleforbrug |
CPU, RAM og NVMe: resten af maskinen
En GPU arbejder kun så hurtigt, som resten af systemet kan forsyne den med data.
- CPU: Til ren inferens er kravet moderat, men tokenisering, forbehandling af data og håndtering af mange forespørgsler bruger CPU. Ved træning skal CPU’en kunne levere data hurtigt nok via data loaders.
- RAM: En udbredt tommelfingerregel er mindst lige så meget system-RAM som samlet VRAM, så modeller kan indlæses og datasæt caches. Mere hjælper ved store datasæt.
- NVMe: Modelfiler på titals eller hundredvis af GB indlæses langt hurtigere fra NVMe end fra SATA-diske. Det betyder noget ved genstart og skift mellem modeller. Se hvad NVMe er, og hvorfor det er vigtigt.
Principperne er de samme som ved valg af almindelige servere, som du kan læse om i guiden til at vælge CPU, RAM og NVMe – bare med GPU’en som det centrale element.
Netværk og flere GPU’er
Når én GPU ikke er nok, skal flere arbejde sammen. Så bliver forbindelsen mellem dem afgørende.
- Inden for én server: GPU’erne kommunikerer via PCIe eller via hurtigere direkte forbindelser som NVLink på kort, der understøtter det. Ved tensor-parallelisme, hvor en model deles over flere GPU’er, betyder båndbredden mellem kortene meget.
- Mellem servere: Træning på tværs af flere maskiner kræver netværk med høj båndbredde og lav latenstid. Til almindelig inferens er en god internetforbindelse til brugerne normalt tilstrækkelig.
- Dataoverførsel: Skal du flytte store datasæt eller modeller ind på serveren, er uplinkhastigheden vigtig.
Drivere, CUDA og containere
Software-stakken er ofte der, hvor de første timer går tabt. GPU-driveren skal understøtte den CUDA-version, dit framework er bygget til. Nyere drivere er normalt bagudkompatible med ældre CUDA-versioner, men ikke omvendt.
Den mest robuste løsning er at installere driveren på værtssystemet og køre selve AI-softwaren i containere. Med NVIDIA Container Toolkit kan Docker-containere få adgang til GPU’en, og hver container kan have sin egen CUDA-version og sine egne biblioteker.
$ nvidia-smi
# Viser driverversion, understøttet CUDA-version, VRAM-forbrug og processer
$ docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
# Bekræfter, at containere kan se GPU'en
$ watch -n 1 nvidia-smi
# Følg VRAM- og GPU-udnyttelse live, mens din model kører
Husk også, at en GPU-server er en almindelig Linux-server, når det gælder sikkerhed. Hold systemet opdateret, og sæt en firewall op – se fx guiden til firewall på en Linux-server. Hvis du vil eksponere en model som API, så læs hvordan du sikkert kører en AI-server.
Tjekliste før du vælger
- Definér opgaven. Inferens, finjustering eller træning? Hvor mange samtidige brugere?
- Beregn VRAM. Vægte (parametre × bytes) + KV-cache + 10–20 % overhead.
- Vælg præcision. Kan du acceptere 8 eller 4 bit, og har du testet kvaliteten?
- Dimensionér resten. RAM mindst svarende til VRAM, NVMe til modeller og data, tilstrækkelig CPU.
- Planlæg software. Driver, CUDA-version, framework og containere.
- Tænk fremad. Skal modellen vokse, eller skal du skalere til flere GPU’er senere?
IDHosting leverer GPU-servere efter forespørgsel. Har du lavet beregningerne ovenfor, er du godt klædt på til at beskrive dit behov for os, så løsningen kan sammensættes efter din model og din belastning.
Kort fortalt
VRAM er det første, du skal regne på: ca. 2 bytes pr. parameter i FP16, 1 byte i INT8 og ca. en halv byte i 4 bit, plus KV-cache, der vokser med kontekst og antal brugere. Træning kræver mange gange mere end inferens. Derefter afgør båndbredde og tensor-ydelse hastigheden, mens CPU, RAM, NVMe og netværk skal være dimensioneret, så GPU’en ikke venter. Kør softwaren i containere med fastlåste versioner, så sparer du dig selv for mange driver- og CUDA-problemer.
Ofte stillede spørgsmål
Hvor meget VRAM kræver en 7B-model?
Vægtene fylder ca. 14 GB i FP16, ca. 7 GB i INT8 og ca. 4 GB i 4 bit. Læg KV-cache og overhead til. Til en enkelt bruger med moderat kontekst kan en 4-bit-version køre på et kort med 8 GB, mens FP16 typisk kræver 24 GB for at have plads til kontekst.
Kan jeg dele en model over flere GPU'er?
Ja. Inferensservere som vLLM understøtter tensor-parallelisme, hvor modellen fordeles over flere GPU’er i samme server. Det kræver, at softwaren understøtter det, og ydelsen afhænger af forbindelsen mellem kortene.
Er 4-bit kvantisering godt nok?
Til mange opgaver, ja – især for større modeller. Men kvalitetstabet varierer med model og opgave. Test den kvantiserede model på dine egne, realistiske eksempler, før du lægger dig fast.
Hvorfor siger nvidia-smi en anden CUDA-version end den, jeg har installeret?
nvidia-smi viser den højeste CUDA-version, driveren understøtter – ikke nødvendigvis den version, dit toolkit eller framework bruger. Det er normalt, så længe driverens version er lig med eller højere end den, din software kræver.
Hvor meget system-RAM skal en GPU-server have?
En udbredt tommelfingerregel er mindst samme mængde RAM som samlet VRAM. Til træning med store datasæt eller til at holde flere modeller klar i hukommelsen kan mere være en fordel.
Kilder og videre læsning
Var guiden nyttig?