De shop is live

Wij bouwen Workstation AI-machines voor websites, AI-agents en LLM-training — configureer en koop online.

Bekijk handelsprijzen
AI-producten
AI LabsOpenAI-agentsClaude-agentsGrok-botWorkstation AI native CRMMarketingAlle producten
AI-oplossingen
Toegepaste AIAI-agentsGeneratieve AIAI-automatiseringAI-bijscholingAI-pakketten voor het mkbEnterprise AI LabAI-werkstationsNVIDIA-hardware en -softwareNVIDIA Accelerated ComputingPrivate AIGPU private cloudGPU-clustersEdge AIAI per sector
AI-diensten
PlatformmoderniseringDigitale engineeringDatafundamenten en AIAutonome operatiesAI-adviesDevOps-automatiseringCybersecuritySoftwareontwikkelingAgentontwikkelingMLOps-opzetGPU-leasingGPU private cloud
Over ons
BedrijfOns verhaalPartnersKlantverhalen
AI-datacenters
AI-datacentersGPU private cloudGPU-clustersGPU-leasing
AI-inzichtenJev-reeksBenchmarklabModelkeuze
Technische notities
Documentatie
Linux-OSUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
AI-cloudplatformsAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU-clouds en -marktplaatsen
Private AI-datacentersVoor advocatenkantorenVoor accountantskantorenOn-premises platformsVolledig beveiligde cloud
ToolsRing PromoterJobshout
Nieuws
Blog
Neem contact opInloggen

AI-werkstations, AI multi-agent software, GPU-infrastructuur en intelligente agentoplossingen voor moderne bedrijven.

Neem contact op

AI-oplossingen

Toegepaste AIAI-agentsGeneratieve AIAI-automatiseringAI-bijscholingAI-pakketten voor het mkbEnterprise AI LabAI per sector

Producten

Alle productenWorkstation AI-native CRM & ERPMarketingOpenAI-agentsRing PromoterJobshout

Bedrijf

Over onsBedrijfAI-datacentersWaarom WorkstationPartnersKlantverhalenPrijzenContactTenthMatrix

Bronnen

AI-inzichtenTechnische notitiesDocumentatieLinux-OSAI-cloudplatformsPrivate AI-datacentersBlogZoekenSitemap
Kantoor België
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Ma - Vr: 9:00 - 18:00 CET
+32 492 45 67 46
Hoofdkantoor VK
77-79 Marlowes, Hemel Hempstead HP1 1LFRoute: neem afrit 20 van de M25, Outer LondonBedrijfsnummer: 11641870Ma - Vr: 9:00 - 18:00 GMT
+44 7515 356 146
Kantoor India
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Kantoor Taiwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Ma - Vr: 9:00 - 18:00 Taiwanese tijd (GMT+8)
+886 926 892 701+32 492 45 67 46
Kantoor Estland
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaMa - vr: 9:00 - 18:00 uur Estse tijd (EET)
+32 492 45 67 46

© 2026 Workstation AI. Alle rechten voorbehouden.

PrivacyGegevensverwijderingCookiesServicevoorwaardenWebsite-sitemap

NVIDIA, het NVIDIA-logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX en HGX zijn handelsmerken en/of gedeponeerde handelsmerken van NVIDIA Corporation in de VS en andere landen. AMD, het AMD Arrow-logo, EPYC, Instinct, Ryzen en Threadripper zijn handelsmerken van Advanced Micro Devices, Inc. Dell en PowerEdge zijn handelsmerken van Dell Inc. of haar dochterondernemingen. Intel en Xeon zijn handelsmerken van Intel Corporation of haar dochterondernemingen. AMAX, AceleMax en LiquidMax zijn handelsmerken van AMAX Engineering Corporation. Alle andere productnamen, logo's en merken zijn eigendom van hun respectieve eigenaren. Wij gebruiken ze uitsluitend om de producten aan te duiden die wij beschrijven, leveren of ondersteunen; het gebruik ervan betekent niet dat de eigenaren ons onderschrijven.

AI-kennisbank · Linux-besturingssysteem

Linux, getuned voor AI

Elk AI-systeem dat we leveren draait op Linux. Deze gids behandelt de distributies die het Workstation-team ondersteunt, hoe we ze hardenen, de kernel- en driverinstellingen die ertoe doen voor GPU's, hoe we ze draaien onder Kubernetes en Docker, hoe LLM-API's daarop schalen en de CI/CD-pipelines die modellen, agents en data veilig naar productie brengen.

  • Ubuntu
  • Red Hat Enterprise Linux
  • SUSE Linux
  • Alpine Linux
  • Debian
  • Rocky & AlmaLinux

Op deze pagina

  1. Een distributie kiezen
  2. Ubuntu
  3. Red Hat Enterprise Linux
  4. SUSE Linux
  5. Alpine Linux
  6. Debian, Rocky & AlmaLinux
  7. Kernel- & OS-optimalisaties
  8. Kubernetes & Docker
  9. LLM-API's schalen
  10. CI/CD voor LLM's, agents en data
  11. Hoe we Linux beveiligen
  12. Workstation-support

Een distributie kiezen

Er is niet één beste Linux voor AI. De juiste keuze hangt af van waar het draait, wie het ondersteunt en waar het verder in moet passen. Zo beslissen we meestal.

Workflow: een distributie kiezen. Gereguleerde onderneming of OpenShift-omgeving: Red Hat Enterprise Linux. Rancher-omgeving, SAP of edge-vloot: SUSE Linux Enterprise. Een kleine containerservice rond de modellen: Alpine Linux. Leveranciersonafhankelijk of RHEL zonder abonnement: Debian, Rocky Linux of AlmaLinux. Anders: Ubuntu LTS.
Zo beslissen we meestal: vier vragen op volgorde. Als geen ervan van toepassing is, is Ubuntu LTS onze standaard.
DistributieHet meest geschikt voorGPU & CUDAKubernetesLevenscyclus
Ubuntu LTSGPU-servers, workstations, de meeste AI-teamsEersteklas: NVIDIA bouwt en test hier als eerste; ondertekende driversCanonical Kubernetes, MicroK8s, k3s, RKE25 jaar, 10+ met Ubuntu Pro
Red Hat Enterprise LinuxGereguleerde ondernemingen, OpenShift-omgevingenNVIDIA CUDA-repository en driverstreams; RHEL AIOpenShift, OpenShift AI10 jaar, plus uitgebreide ondersteuning
SUSE Linux EnterpriseRancher-omgevingen, SAP en edge-vlotenOndertekende pakketten van de open NVIDIA-kerneldriver; SUSE AIRancher, RKE2, k3sLange levenscyclus met LTSS
Alpine LinuxMinimale containers, gateways en edge-servicesNiet voor GPU-hosts (musl, geen CUDA)Als container-base-imageOngeveer 2 jaar per release
DebianStabiele, leveranciersonafhankelijke servers en labsNVIDIA-drivers in non-free; CUDA-repositoryk3s, kubeadm, RKE2Ongeveer 5 jaar met LTS
Rocky & AlmaLinuxRHEL-compatibel zonder abonnementDezelfde pakketten als RHELkubeadm, RKE2, k3s, OKDOngeveer 10 jaar

De distributies die we ondersteunen

Ubuntu

De standaard voor GPU-servers en AI-workstations.

Het grootste deel van het AI-ecosysteem wordt eerst op Ubuntu gebouwd en getest. De NGC-containers van NVIDIA, de CUDA-documentatie en veel framework-installers gaan ervan uit, wat minder verrassingen betekent wanneer een nieuwe GPU, driver of modelrelease verschijnt.

Workflow: Ubuntu 24.04 LTS, ondertekende NVIDIA-driver, CUDA en cuDNN, NVIDIA Container Toolkit, dan Docker op één machine of Kubernetes met de NVIDIA GPU Operator, dan de modelserver
Zo bouwen we een Ubuntu-GPU-host: installeer het OS, voeg de ondertekende NVIDIA-driver, CUDA en de container toolkit toe en draai modellen vervolgens in Docker op één machine of in Kubernetes met de GPU Operator.

Versies die we uitrollen: Ubuntu 24.04 LTS (Server en Desktop), 22.04 LTS voor bestaande omgevingen

GPU-, CUDA- en AI-stack

  • ubuntu-drivers installeert door Canonical ondertekende NVIDIA-kernelmodules, zodat UEFI Secure Boot ingeschakeld blijft zonder dat u een eigen sleutel hoeft te registreren.
  • CUDA, cuDNN en de NVIDIA Container Toolkit uit de apt-repository's van NVIDIA, per release vastgepind.
  • HWE-kernels brengen ondersteuning voor de nieuwste CPU's, GPU's en NIC's naar een LTS-release.

Hoe we het tunen voor AI

  • Serverinstallaties, minimale pakketten, snaps op appliances vastgehouden of verwijderd.
  • Performance-CPU-governor, NUMA-bewuste plaatsing en persistence mode voor de GPU's (zie de kernelsectie).
  • Automatische beveiligingsupdates gepland in een onderhoudsvenster, of offline updatebundels voor air-gapped locaties.

Kubernetes en containers

  • Docker of containerd met de NVIDIA Container Toolkit.
  • k3s voor single-node en edge, Canonical Kubernetes of RKE2 voor clusters, met de NVIDIA GPU Operator erbovenop.

Beveiliging

  • Ubuntu Pro voegt Livepatch, FIPS 140-modules, uitgebreid beveiligingsonderhoud en de Ubuntu Security Guide voor CIS- en DISA-STIG-hardening toe.
  • AppArmor in enforcing-modus, met profielen voor de services die we draaien.

Onze visie: Onze standaard voor GPU-servers, AI-workstations en offline appliances, tenzij een omgeving al op iets anders is gestandaardiseerd.

Red Hat Enterprise Linux

Voor gereguleerde ondernemingen en OpenShift-omgevingen.

RHEL biedt een levenscyclus van tien jaar, gecertificeerde hardware en een supportcontract dat inkoop en auditors herkennen. Het AI-portfolio van Red Hat – RHEL AI, OpenShift AI en de op vLLM gebaseerde Red Hat AI Inference Server – bouwt erop voort.

Workflow: RHEL 9 of 10, dan de driver en CUDA-toolkit uit de CUDA-repository van NVIDIA, dan Podman met CDI op één host of OpenShift met de NVIDIA GPU Operator en Node Feature Discovery, met het AI-portfolio van Red Hat erbovenop. Image mode weergegeven als optie.
Zo bouwen we een RHEL-GPU-host: installeer RHEL, voeg de driver- en CUDA-pakketten van NVIDIA toe en draai GPU-containers vervolgens met Podman op één host of met OpenShift en de GPU Operator in een cluster. Met image mode kan het hele OS worden uitgerold als één geversioneerde image die kan worden teruggedraaid.

Versies die we uitrollen: RHEL 9 en RHEL 10

GPU-, CUDA- en AI-stack

  • De CUDA-repository van NVIDIA voor RHEL levert de driver (voorgecompileerd of DKMS) en de CUDA-toolkit als dnf-pakketten.
  • Podman met CDI (Container Device Interface) voor GPU-containers zonder root-daemon.
  • Met image mode (opstartbare containers) kan het hele OS, inclusief drivers, als één geversioneerde image worden uitgerold en teruggedraaid.

Hoe we het tunen voor AI

  • tuned-profielen zoals throughput-performance of accelerator-performance als startpunt, daarna aanpassingen per workload.
  • NUMA-, IRQ-affiniteit- en huge-page-instellingen beheerd als code.

Kubernetes en containers

  • OpenShift met de NVIDIA GPU Operator en Node Feature Discovery; OpenShift AI voor notebooks, pipelines en model serving.

Beveiliging

  • SELinux standaard in enforcing-modus, FIPS-modus en OpenSCAP met de SCAP Security Guide voor CIS- en STIG-profielen.
  • kpatch live kernel patching voor beveiligingsfixes zonder downtime.

Onze visie: De juiste keuze wanneer supportcontracten, certificeringen of een bestaand OpenShift-platform belangrijker zijn dan de nieuwste pakketten.

SUSE Linux

Voor door Rancher beheerde vloten, SAP en de edge.

SUSE combineert een enterprise-Linux met Rancher, een van de meestgebruikte manieren om veel Kubernetes-clusters te beheren, en met SUSE AI voor het draaien van private AI op dat platform. Dankzij de snapshot- en transactional-update-tooling worden rollbacks routine.

Workflow: SLES 15 SP6 of later of SLE Micro, dan de ondertekende open NVIDIA-kerneldriver met zypper, dan CUDA en de NVIDIA Container Toolkit, dan RKE2 of k3s beheerd door Rancher met de NVIDIA GPU Operator, dan SUSE AI. Btrfs-snapper-rollback weergegeven als kanttekening.
Zo bouwen we een SUSE-GPU-host: installeer SLES of SLE Micro, voeg de ondertekende NVIDIA-driver, CUDA en de container toolkit toe en draai vervolgens RKE2 of k3s onder Rancher met de GPU Operator en SUSE AI. Btrfs-snapshots houden elke update op één rollback afstand.

Versies die we uitrollen: SUSE Linux Enterprise Server 15 SP6 en later, SLE Micro voor edge, openSUSE Leap voor labs

GPU-, CUDA- en AI-stack

  • SUSE verpakt de open GPU-kernelmodules van NVIDIA, ondertekend voor Secure Boot en installeerbaar met zypper.
  • CUDA uit de SUSE-repository van NVIDIA; de NVIDIA Container Toolkit voor containerd en Docker.

Hoe we het tunen voor AI

  • Btrfs met snapper-snapshots, zodat een slechte driver- of kernelupdate maar één rollback verwijderd is.
  • Het alleen-lezen, transactionele OS van SLE Micro voor edge-GPU-nodes die atomair moeten updaten.

Kubernetes en containers

  • RKE2 of k3s beheerd door Rancher, met de NVIDIA GPU Operator; SUSE AI voor kant-en-klare private-AI-services.

Beveiliging

  • Mandatory access control (AppArmor of SELinux), FIPS-gecertificeerde modules, OpenSCAP-hardeningprofielen.
  • SUSE Live Patching voor kernelfixes zonder herstart.

Onze visie: Het best wanneer Rancher de clusters al beheert, of voor edge-vloten die atomaire updates en snelle rollback nodig hebben.

Alpine Linux

Klein, snel en gehard, voor containers in plaats van GPU-hosts.

De base-image van Alpine is maar een paar megabyte groot, gebouwd op musl libc en BusyBox met een geharde toolchain. Dat maakt hem uitstekend voor de kleine services rond een AI-systeem, en ongeschikt voor het GPU-werk zelf.

Workflow: Alpine-images draaien de API-gateway, auth-proxy, scheduler en exporter; de GPU-node draait modelcontainers op een Ubuntu-, Debian- of UBI-basis. Multi-stage build: compileer op een volledige image, lever een minimale Alpine-runtime, krijg snellere pulls en sneller autoscaling.
Waar Alpine past: de kleine services rond de modellen, niet de GPU-node. Een multi-stage build compileert op een volledige image en levert alleen een minimale Alpine-runtime.

Versies die we uitrollen: Actuele stabiele Alpine-releases, als container-base-images

GPU-, CUDA- en AI-stack

  • NVIDIA-drivers en CUDA zijn gebouwd voor glibc en PyTorch publiceert geen musl-wheels, dus GPU-images en de meeste trainingsimages horen op een Ubuntu-, Debian- of UBI-basis.
  • Ideaal voor API-gateways, auth-proxy's, schedulers, exporters en lichte CPU-inferentie met gecompileerde runtimes.

Hoe we het tunen voor AI

  • Multi-stage builds die compileren op een volledige image en een minimale Alpine-runtime leveren.
  • Kleinere images betekenen snellere pulls op elke node en sneller autoscaling.

Kubernetes en containers

  • Een base-image voor sidecars, init-containers en edge-services in elke Kubernetes-distributie.

Beveiliging

  • Een kleine pakketset betekent een klein aanvalsoppervlak en korte rapporten van kwetsbaarheidsscans.
  • Draai als non-root met een alleen-lezen root-bestandssysteem.

Onze visie: Gebruik het voor de services rond uw modellen, niet voor de GPU-nodes of de modelcontainers zelf.

Debian, Rocky & AlmaLinux

Communitydistributies die we in productie ondersteunen.

Debian is de stabiele, leveranciersonafhankelijke basis onder Ubuntu en veel appliances. Rocky Linux en AlmaLinux zijn binair compatibel met RHEL, voor teams die het RHEL-ecosysteem willen zonder abonnement.

Workflow in twee sporen. Debian 12 of 13, dan de NVIDIA-driver uit non-free of de CUDA-repository, dan de NVIDIA Container Toolkit, dan k3s, RKE2 of kubeadm met de NVIDIA GPU Operator. Rocky Linux of AlmaLinux 9 of 10, dan dezelfde NVIDIA-pakketten als RHEL, dan Podman met CDI.
Twee sporen: Debian volgt de apt-route naar Kubernetes met de GPU Operator; Rocky Linux en AlmaLinux gebruiken dezelfde NVIDIA-pakketten en Podman-CDI-workflow als RHEL.

Versies die we uitrollen: Debian 12 en 13; Rocky Linux en AlmaLinux 9 en 10

GPU-, CUDA- en AI-stack

  • Debian: NVIDIA-drivers uit de non-free-repository of de CUDA-repository van NVIDIA; de apt-repository van de NVIDIA Container Toolkit.
  • Rocky en AlmaLinux: dezelfde NVIDIA-RHEL-pakketten en dezelfde Podman-CDI-workflow als RHEL.

Hoe we het tunen voor AI

  • Dezelfde kernel-, NUMA- en opslaginstellingen als hun commerciële verwanten, toegepast met Ansible.
  • Debian vormt ook de basis van Proxmox VE, dat we gebruiken voor GPU-passthroughlabs.

Kubernetes en containers

  • k3s-, RKE2- of kubeadm-clusters met de NVIDIA GPU Operator.

Beveiliging

  • CIS-benchmarks via OpenSCAP, AppArmor op Debian en SELinux op Rocky en AlmaLinux, met geautomatiseerde beveiligingsupdates.

Onze visie: Solide, kosteneffectieve keuzes wanneer u geen leverancierscontract nodig hebt, ondersteund door onze eigen support.

Kernel- & OS-optimalisaties voor AI-workloads

GPU's zijn alleen snel als de host ze voldoende voedt. Dit zijn de instellingen die we op elk AI-systeem controleren en daarna afstemmen op de eigen workload van de klant. Geen enkele is universeel: we meten vooraf en achteraf.

Workflow: drie groepen instellingen, GPU en driver; CPU, geheugen en NUMA; PCIe, netwerk en opslag, die allemaal de GPU's voeden, gemeten vóór en na.
Drie groepen hostinstellingen houden de GPU's gevoed. We controleren ze op elk AI-systeem en stemmen ze af op de echte workload.

GPU en driver

  • Persistence mode (nvidia-persistenced) zodat de driver geladen blijft en het eerste verzoek niet traag is.
  • NVIDIA Fabric Manager op NVSwitch-systemen (HGX): zonder deze initialiseren de GPU's niet voor CUDA.
  • DCGM voor health checks, diagnostiek en metrics per GPU.
  • MIG-partities of time-slicing wanneer veel kleine modellen één grote GPU delen.

CPU, geheugen en NUMA

  • Performance-CPU-governor en beperkte diepe C-states op latentiegevoelige inferentiehosts.
  • NUMA-bewuste plaatsing: het werk van elke GPU wordt vastgepind aan de dichtstbijzijnde CPU-socket en het dichtstbijzijnde geheugen (nvidia-smi topo -m toont de kaart).
  • Automatische NUMA-balancing uitgeschakeld op dedicated GPU-hosts, zodat pagina's niet migreren onder belasting.
  • Transparent huge pages standaard op madvise; expliciete huge pages voor RDMA- en DPDK-workloads.
  • Lage swappiness en ruime memlock- en file-descriptorlimieten voor dataloaders en RDMA.

PCIe, netwerk en opslag

  • IOMMU in pass-throughmodus en Above 4G decoding / Resizable BAR in de firmware.
  • GPUDirect RDMA (nvidia-peermem) en GPUDirect Storage (nvidia-fs) zodat data de CPU overslaat.
  • Jumboframes end-to-end op opslag- en RoCE-fabrics, met IRQ-affiniteit verdeeld over de cores.
  • NVMe met de scheduler none, XFS of ext4 met noatime voor datasets en checkpoints.

Een startpunt (per workload getest, nooit blind gekopieerd)

# /etc/sysctl.d/90-ai.conf
kernel.numa_balancing = 0
vm.swappiness = 10
vm.max_map_count = 1048576
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456

# kernel command line (GRUB)
iommu=pt transparent_hugepage=madvise

# services
systemctl enable --now nvidia-persistenced
systemctl enable --now nvidia-fabricmanager   # NVSwitch (HGX) systems
cpupower frequency-set -g performance

Kubernetes & Docker voor AI

De meeste AI-systemen die we bouwen draaien in containers, van één workstation met Docker tot GPU-clusters met meerdere nodes. De bouwstenen zijn op elke distributie hetzelfde.

Workflow: NVIDIA Container Toolkit, dan de NVIDIA GPU Operator, dan de juiste Kubernetes, dan GPU-sharing, dan topologiebewuste scheduling, dan observability.
De bouwstenen in de volgorde waarin we ze neerzetten, op elke distributie hetzelfde.

NVIDIA Container Toolkit

Geeft Docker, containerd en Podman toegang tot de GPU's, via de vlag --gpus of CDI-apparaatnamen.

NVIDIA GPU Operator

Installeert en beheert drivers, de device plugin, DCGM-exporter, MIG-manager en GPUDirect-componenten op elke Kubernetes-GPU-node.

De juiste Kubernetes

k3s voor één node of de edge, RKE2 of Canonical Kubernetes voor clusters, OpenShift waar Red Hat de standaard is.

GPU-sharing

MIG voor strikte isolatie tussen tenants, time-slicing voor ontwikkeling en fractionele scheduling voor veel kleine modellen.

Topologiebewuste scheduling

Node Feature Discovery labelt GPU-model, geheugen en interconnect, zodat grote jobs op de nodes terechtkomen die daarbij passen.

Observability

Prometheus en Grafana met DCGM-metrics: GPU-gebruik, geheugen, temperatuur, stroomverbruik en fouten per pod.

Native LLM-API's en hoe ze schalen

We serveren modellen achter OpenAI-compatibele API's, zodat het applicaties niet uitmaakt welk model of welke engine erachter zit. Schalen gebeurt dan in vier richtingen.

Workflow: applicaties roepen een OpenAI-compatibele API aan. Daarachter schalen binnen één GPU, over GPU's in een node via NVLink, over nodes heen en met meer replica's achter een gateway.
Eén OpenAI-compatibele API vooraan; daarachter vier richtingen om te schalen: binnen één GPU, over GPU's in een node, over nodes heen en meer replica's.
  1. 1

    Binnen één GPU

    Kwantisatie (FP8, NVFP4 op Blackwell, AWQ), paged attention en continuous batching in vLLM, SGLang of TensorRT-LLM passen meer gebruikers op elke GPU.

  2. 2

    Over GPU's in een node

    Tensorparallellisme via NVLink serveert modellen die te groot zijn voor één GPU, met de laagste latency.

  3. 3

    Over nodes heen

    Pipelineparallellisme met Ray of Kubernetes LeaderWorkerSet voor de grootste modellen, en gedisaggregeerde prefill en decode (NVIDIA Dynamo, llm-d) op clusterschaal.

  4. 4

    Meer replica's

    Horizontaal schalen achter een gateway, automatisch geschaald op wachtrijdiepte of tokens per seconde met KEDA of de HPA, met KV-cache-bewuste routering en scale-to-zero via KServe.

Engines die we inzetten: vLLM, SGLang, TensorRT-LLM met Triton Inference Server, NVIDIA NIM, en Ollama of llama.cpp voor systemen naast het bureau en aan de edge. Veel LoRA-adapters kunnen één basismodel op dezelfde GPU's delen.

CI/CD voor LLM's, agents en datapipelines

AI verandert vaker dan gewone software: nieuwe modelversies, nieuwe prompts, nieuwe data. We geven elk van de drie een eigen pipeline, met dezelfde discipline: alles geversioneerd, getest, ondertekend en via ringen gepromoveerd.

Workflow: drie pipelines. LLM: finetunen of selecteren, evalueren, registreren en ondertekenen, verpakken, promoveren van int naar test naar acc naar prod, monitoren en terugdraaien. Agent: prompts, tools en policies versioneren, tools unit-testen, gesprekken afspelen als evals, sandbox, canary-release, tracen. Data: inlezen, valideren, versioneren, transformeren en embedden, indexeren, lineage bijhouden.
Eén pipeline elk voor modellen, agents en data. Stappen lopen van links naar rechts.

LLM-pipeline

  1. Finetunen of selecteren
  2. Evalueren tegen taak-, veiligheids- en latency-gates
  3. Model registreren en ondertekenen
  4. Verpakken met de serving-engine
  5. Promoveren int → test → acc → prod
  6. Monitoren en terugdraaien

Kubeflow of Ray voor training, MLflow-registry, cosign-handtekeningen, Argo CD voor GitOps en Ring Promoter voor releases ring voor ring met health checks.

Agentpipeline

  1. Prompts, tools en policies versioneren in git
  2. Elke tool unit-testen
  3. Opgenomen gesprekken afspelen als evals
  4. Tooluitvoering in een sandbox
  5. Canary-release
  6. Elke stap tracen

Gecontaineriseerde toolsandboxes, evaluatiesuites in CI, OpenTelemetry-tracing, kosten- en ratebudgetten per agent.

Datapipeline

  1. Inlezen
  2. Valideren
  3. Versioneren
  4. Transformeren en embedden
  5. Indexeren
  6. Lineage bijhouden

Airflow, Dagster of Argo Workflows; Great Expectations voor validatie; lakeFS of DVC voor versies; Spark of Ray voor schaal; pgvector, Qdrant of Milvus voor retrieval; OpenLineage voor lineage.

CI draait op self-hosted runners binnen uw netwerk, inclusief GPU-runners voor evaluatie, zodat modellen en data het nooit verlaten.

Hoe we Linux beveiligen voor AI

Een AI-server bevat uw meest waardevolle data en een deel van uw duurste hardware. We beveiligen hem in lagen, zodat geen enkele fout een van beide blootlegt.

Workflow: zes beveiligingslagen van onder naar boven: boot en schijf, besturingssysteem, toegang, netwerk, containers en Kubernetes, modellen en data.
Zes lagen, van de hardware tot de modellen en data, zodat geen enkele fout een van beide blootlegt.
01

Boot en schijf

  • UEFI Secure Boot met ondertekende GPU-drivers
  • Volledige schijfversleuteling (LUKS2) verzegeld aan de TPM, met onbeheerde herstart
  • Firmwarewachtwoorden en vergrendelde opstartvolgorde
02

Besturingssysteem

  • Hardening volgens de CIS-benchmark (Ubuntu Security Guide, OpenSCAP)
  • SELinux of AppArmor in enforcing-modus
  • Minimale installaties en live kernelpatching
  • auditd-logging naar een centrale opslag
03

Toegang

  • SSH-sleutels op FIDO2-hardwaresleutels, geen wachtwoorden, geen root-login
  • sudo met minimale rechten en logging
  • BMC en beheer op een eigen netwerk
04

Netwerk

  • Default-deny firewalls (nftables) voor inkomend en uitgaand verkeer
  • Gesegmenteerde VLAN's en WireGuard voor beheertoegang
  • Volledig offline modus voor air-gapped locaties
05

Containers en Kubernetes

  • Non-root, read-only containers met seccomp-profielen
  • Pod Security Standards en netwerkpolicies
  • Ondertekende images, kwetsbaarheidsscans en SBOM's
  • Secrets uit een vault, nooit in images of git
06

Modellen en data

  • Alleen safetensors, nooit op pickle gebaseerde modelbestanden
  • Hash- en handtekeningcontroles voordat een model laadt
  • Auditlogs per query en toegang op dossier- of tenantniveau

Ondersteund door het Workstation-team

Kies de distributie die bij uw organisatie past en wij leveren hem klaar voor AI-werk, en houden hem zo.

Workflow: installatie met ondertekende GPU-drivers en CUDA, harden en versleutelen, burn-in van 72 uur, Kubernetes of Docker met de GPU Operator, uitrol via CI/CD, doorlopend patchen.
Hoe we een Linux-AI-systeem leveren, van installatie tot doorlopend patchen.
  • Geïnstalleerd met ondertekende GPU-drivers, CUDA en de container toolkit
  • Gehard volgens CIS, versleuteld en getest vóór overdracht
  • Burn-in van 72 uur op elke node
  • Kubernetes of Docker ingericht, met de GPU Operator en monitoring
  • LLM-serving, agents en datapipelines uitgerold via CI/CD
  • Doorlopend patchen, inclusief ondertekende offline updatebundels
Spreek een Linux-engineer →Inrichting van de AI-softwarestack ↗Vraag het de AI Sales Engineer ↗

Gerelateerd:MLOps-inrichtingDevOps-automatiseringRing PromoterWSL VaultCyberbeveiligingAI-datacenters

Logo's zijn handelsmerken van hun respectieve eigenaren en worden alleen gebruikt om de producten te identificeren die we ondersteunen. De logo's van Debian, Rocky Linux en AlmaLinux worden gebruikt onder CC BY-SA-licenties van Wikimedia Commons.