De shop is live

Wij bouwen Workstation AI-machines voor websites, AI-agents en LLM-training — configureer en koop online.

Bekijk handelsprijzen
AI-producten
AI LabsOpenAI-agentsClaude-agentsGrok-botWorkstation AI native CRMMarketingAlle producten
AI-oplossingen
Toegepaste AIAI-agentsGeneratieve AIAI-automatiseringAI-bijscholingAI-pakketten voor het mkbEnterprise AI LabAI-werkstationsNVIDIA-hardware en -softwareNVIDIA Accelerated ComputingPrivate AIGPU private cloudGPU-clustersEdge AIAI per sector
AI-diensten
PlatformmoderniseringDigitale engineeringDatafundamenten en AIAutonome operatiesAI-adviesDevOps-automatiseringCybersecuritySoftwareontwikkelingAgentontwikkelingMLOps-opzetGPU-leasingGPU private cloud
Over ons
BedrijfOns verhaalPartnersKlantverhalen
AI-datacenters
AI-datacentersGPU private cloudGPU-clustersGPU-leasing
AI-inzichtenJev-reeksBenchmarklabModelkeuze
Technische notities
Documentatie
Linux-OSUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
AI-cloudplatformsAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU-clouds en -marktplaatsen
Private AI-datacentersVoor advocatenkantorenVoor accountantskantorenOn-premises platformsVolledig beveiligde cloud
ToolsRing PromoterJobshout
Nieuws
Blog
Neem contact opInloggen

AI-werkstations, AI multi-agent software, GPU-infrastructuur en intelligente agentoplossingen voor moderne bedrijven.

Neem contact op

AI-oplossingen

Toegepaste AIAI-agentsGeneratieve AIAI-automatiseringAI-bijscholingAI-pakketten voor het mkbEnterprise AI LabAI per sector

Producten

Alle productenWorkstation AI-native CRM & ERPMarketingOpenAI-agentsRing PromoterJobshout

Bedrijf

Over onsBedrijfAI-datacentersWaarom WorkstationPartnersKlantverhalenPrijzenContactTenthMatrix

Bronnen

AI-inzichtenTechnische notitiesDocumentatieLinux-OSAI-cloudplatformsPrivate AI-datacentersBlogZoekenSitemap
Kantoor België
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Ma - Vr: 9:00 - 18:00 CET
+32 492 45 67 46
Hoofdkantoor VK
77-79 Marlowes, Hemel Hempstead HP1 1LFRoute: neem afrit 20 van de M25, Outer LondonBedrijfsnummer: 11641870Ma - Vr: 9:00 - 18:00 GMT
+44 7515 356 146
Kantoor India
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Kantoor Taiwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Ma - Vr: 9:00 - 18:00 Taiwanese tijd (GMT+8)
+886 926 892 701+32 492 45 67 46
Kantoor Estland
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaMa - vr: 9:00 - 18:00 uur Estse tijd (EET)
+32 492 45 67 46

© 2026 Workstation AI. Alle rechten voorbehouden.

PrivacyGegevensverwijderingCookiesServicevoorwaardenWebsite-sitemap

NVIDIA, het NVIDIA-logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX en HGX zijn handelsmerken en/of gedeponeerde handelsmerken van NVIDIA Corporation in de VS en andere landen. AMD, het AMD Arrow-logo, EPYC, Instinct, Ryzen en Threadripper zijn handelsmerken van Advanced Micro Devices, Inc. Dell en PowerEdge zijn handelsmerken van Dell Inc. of haar dochterondernemingen. Intel en Xeon zijn handelsmerken van Intel Corporation of haar dochterondernemingen. AMAX, AceleMax en LiquidMax zijn handelsmerken van AMAX Engineering Corporation. Alle andere productnamen, logo's en merken zijn eigendom van hun respectieve eigenaren. Wij gebruiken ze uitsluitend om de producten aan te duiden die wij beschrijven, leveren of ondersteunen; het gebruik ervan betekent niet dat de eigenaren ons onderschrijven.

Home / Technische notities / Technology
AIKubernetesDevOpsNVIDIA

Technote NVKE en NVKR: een beheerde GPU-Kubernetes-dienst bouwen vanaf bare metal, met reproduceerbare, verifieerbare builds

Architectuur, componenten en vastgepinde versies, de levenscyclus Definition-Run-Release-Verify van NVKR, de volledige nvkectl-workflow van servers in het rack tot een klantcluster, node-attestatie, operaties op dag twee, elke beperking van de preview met een mitigatie, een vergelijking met andere benaderingen en een gefaseerd evaluatieplan

14 november 2026Technology21 min read

Een praktijkgids voor NVIDIA Kubernetes Engine (NVKE) en NVIDIA Kubernetes Recipes (NVKR), de twee opensourceprojecten die NVIDIA op 10 november 2026 op KubeCon North America in public preview uitbracht. De gids behandelt de architectuur, elke component en vastgepinde versie, de build- en verificatielevenscyclus van NVKR, de volledige workflow van servers in het rack tot een GPU-cluster voor een klant, het beveiligingsmodel, operaties op dag twee, de bekende beperkingen van de preview met voor elke beperking een hardeningchecklist, hoe NVKE zich verhoudt tot andere manieren om GPU-Kubernetes te draaien, en een gefaseerd evaluatieplan.

Een terminal met de nvkectl-commando's die een managementcluster bootstrappen, een release set publiceren en een klantcluster aanmaken, naast de versies die in de preview zijn vastgepind: Kubernetes 1.36.3, Cluster API 1.13.6, CAPNICo 0.1.0, OVN-Kubernetes 2.4.2 en SPIRE 1.14.1.

Samenvatting. NVKR zet een gedeclareerde Definition met vastgepinde versies om in node-images, containerimages, Helm-charts en binaries, met SBOM's, herkomstgegevens en handtekeningen die u onder uw eigen beleid verifieert. NVKE is een managementplane dat op een managementcluster van drie nodes draait en Cluster API met de CAPNICo-provider gebruikt om bare-metalmachines te krijgen van NVIDIA Infra Controller (NICo). Het maakt geïsoleerde workloadclusters aan, elk met een eigen control plane, etcd en GPU-nodepools, en laat een node pas toe na TPM-ondersteunde SPIFFE/SPIRE-attestatie. Beide vallen onder Apache 2.0 en zijn in public preview: de API wordt geleverd als gewoon HTTP met authenticatie uit, er is geen autorisatielaag, en het managementcluster heeft nog geen upgrade- of back-upprocedure. Evalueer het nu; plan productie voor na de preview.

Deze technote hoort bij ons bericht op businessniveau, NVIDIA NVKE en NVKR: waarom GPU-Kubernetes het besturingssysteem van de AI-fabriek wordt. Alles hieronder is ontleend aan de walkthrough bij de aankondiging van NVIDIA, de NVKE-documentatie en de repositories van NVKE en NVKR per 14 november 2026. Commando's zijn van NVIDIA, tenzij ze zijn gemarkeerd als voorbeeld van Workstation. Beide projecten veranderen tijdens de preview snel, dus controleer altijd de actuele documentatie voor vlaggen en velden.

1. Het probleem dat NVKE en NVKR onderling verdelen

Een AI-fabriek (de term van NVIDIA voor een datacenter dat is gebouwd om op schaal AI te produceren) die GPU-capaciteit als Kubernetes wil verkopen of delen, heeft twee afzonderlijke problemen:

  1. Een beheerde Kubernetes-dienst draaien. API-gestuurde provisioning, isolatie van tenants, upgrades, vervanging en herstel van nodes, ondersteund door servicetoezeggingen.
  2. De software kwalificeren. Weten welke combinatie van besturingssysteem, kernel, Kubernetes, netwerkplug-in, agents en GPU-runtime op welke GPU-generatie werkt, en precies die combinatie later opnieuw kunnen bouwen.

NVKE neemt het eerste probleem voor zijn rekening en NVKR het tweede. Ze zijn bewust scheidbaar: NVKE heeft tijdens runtime geen afhankelijkheid van NVKR, en NVKR kan artifacts bouwen voor andere Kubernetes-beheersystemen. De fabriek houdt zelf de controle over haar software, operaties, dienstverlening en klantervaring.

2. Componenten in één oogopslag

ComponentRolWaar het draait
NVKE-managementplaneREST API en controllers die workloadclusters aanmaken en beherenHet managementcluster (drie CPU-servers)
nvkectlCLI voor operators: bootstrapt de locatie, publiceert release sets, maakt clusters aan, haalt kubeconfigs opBootstraphost en werkstations van operators
SeedclusterTijdelijk kind-cluster met één node dat het managementcluster vormt en daarna wordt verwijderdBootstraphost
Cluster API + CAPNICoStandaard Kubernetes-provisioninginterface, met de Cluster API-infrastructuurprovider voor NICoManagementcluster
NICo (NVIDIA Infra Controller)Bare-metallevenscyclus: ingeschreven capaciteit, VPC's en prefixen, instancetypen, iPXE-bootUw locatie (aparte installatie)
SPIRE-server en -agentsTPM-gebaseerde node-attestatie en SPIFFE-identiteiten; een node krijgt pas join-credentials na attestatieManagementcluster en elke node
NVKE-nodeagentAgent op de node, door NVKR in de node-image gecompileerdElke node
OVN-Kubernetes en NodeLocal DNSCacheClusternetwerk en DNS-caching, door NVKE geïnstalleerd als onderdeel van de provisioningElk workloadcluster
NVKE-telemetriepipeline (NKTP)Helm-chart op basis van OpenTelemetry die logs, metrics en traces verzamelt en via OTLP exporteertManagement- en workloadclusters
NVKRCLI, componentcatalogi en declaratieve Definitions die artifacts voor NVKE en AI Cluster Runtime (AICR) bouwen, ondertekenen en publicerenBuildhost of GitHub Actions
AICR, NodeWright, NVSentinelBinnen workloadclusters toegevoegd voor respectievelijk de GPU-versnelde runtime, nodepakketten en automatisering van storingsherstelWorkloadclusters

3. Architectuur

NVKR op een buildhost publiceert artifacts naar een OCI-registry en een HTTP-imageserver. Een bootstraphost vormt het NVKE-managementcluster, dat de REST API, release sets, Cluster API met CAPNICo en een SPIRE-server draait. Het vraagt NICo om machines; GPU- en CPU-servers starten op vanaf de node-image en attesteren voordat ze toetreden tot workloadclusters van klanten. Klanten gebruiken kubectl en de operator gebruikt nvkectl; telemetrie gaat via OTLP naar uw eigen backend.

De besturingsstroom is het makkelijkst te volgen vanuit de operator. De operator praat alleen met de NVKE API, via nvkectl. NVKE vertaalt een clusterverzoek naar Cluster API-objecten; CAPNICo zet die om in instanceverzoeken aan NICo; NICo kiest servers van het gevraagde instancetype in het gevraagde VPC-prefix en start ze op met het iPXE-script uit de gekozen machine-image. Elke server start de door NVKR gebouwde image op, de SPIRE-agent attesteert met de TPM van de server bij de SPIRE-server van het managementcluster, en pas daarna krijgt de node de credentials die nodig zijn om kubeadm te draaien en toe te treden. Klanten zien hier niets van: ze ontvangen een kubeconfig voor een cluster dat eruitziet als elk ander conform Kubernetes 1.36-cluster.

4. In de preview vastgepinde versies

De platformreferentie van NVKE noemt de gevalideerde combinatie hieronder. Om het "vastpinnen" gaat het juist: NVKR bouwt uit precies deze invoer en legt die vast, zodat een node te herleiden is tot zijn bronnen.

OnderdeelPreviewversieOpmerkingen
Kubernetes (management- en workloadclusters)1.36.31.34.2, 1.35.3 en 1.37.2 staan klaar in de node-image maar worden niet ondersteund
Besturingssysteem van nodesUbuntu 24.04 LTS of 26.04 LTSDe voorbeeld-MachineImage installeert Ubuntu 24.04 vanaf de installer-ISO
CPU-architecturenamd64, arm64Aparte images per architectuur; nodepools kunnen verschillende images gebruiken
Cluster API (core, kubeadm-bootstrap en control plane)v1.13.6clusterctl v1.13.6
CAPNICov0.1.0NICo is de standaard infrastructuurprovider; LaunchLayer kan ook worden ingeschakeld
OVN-Kubernetes2.4.2Vanuit broncode in de node-image gecompileerd
SPIRE-agent1.14.1, TPM-plugin 1.9.0Upstreamrelease vastgepind op checksum
Bootstraptoolingkind v0.32.0, kubectl v1.36.0, Helm v4.2.4Plus containerd en rootful nerdctl op de bootstraphost
Go-toolchain1.27.4 of later voor NVKE; 1.27.2 vastgepind voor NVKRDe NVKR-launcher biedt aan de vastgepinde Go lokaal te installeren

5. NVKR: Definition, Run, Release, Verify

De levenscyclus van NVKR: een Definition met catalogi en een Environment, een controleerbaar Plan en afhankelijkheidsgraaf, een Run die lokaal of in GitHub Actions wordt uitgevoerd en uitvoer en bewijs vastlegt, en een Release als OCI-referentie vastgepind op digest met SBOM's en herkomstgegevens, onder uw eigen beleid geverifieerd voordat NVKE hem uitrolt.

NVKR is een build- en releasesysteem, geen verzameling scripts. De openbare levenscyclus kent drie fasen:

  1. De op te leveren onderdelen definiëren. Een Definition selecteert benoemde uitvoer (executables, containerimages, Helm-charts, deploymentbundels of node-images), de componenten, platforms en formaten ervan. Catalogs leveren vastgepinde bronnen, artifacts en tools. Een Environment levert instellingen voor uitvoering, registry en ondertekening.
  2. Inspecteren en uitvoeren. NVKR leidt een Plan en afhankelijkheidsgrafen af die u kunt beoordelen voordat er iets wordt uitgevoerd, en voert het daarna lokaal uit of genereert GitHub Actions-workflows. Elke Run legt de vereiste uitvoer vast, de artifacts die daadwerkelijk zijn waargenomen, het bewijs en de fouten.
  3. Publiceren en verifiëren. Een Release is een OCI-registryreferentie, vastgepind op digest, die de uitvoer koppelt aan de SBOM's en herkomstgegevens ervan. Afnemers kiezen een Verification Policy (de workflowidentiteit en uitgever die ze accepteren) en authenticeren de claims voordat ze de artifacts gebruiken.

5.1 Eerste build

De quickstart bouwt de NVKE-CLI, de containerimage van de controller en de Helm-chart ervan, met SBOM's van de afhankelijkheden. Er zijn Git 2.38 of later, Bash en een draaiende Docker voor nodig; de launcher controleert de vereisten, selecteert de vastgepinde Go-compiler (en vraagt het voordat hij die installeert) en bouwt NVKR zelf vanuit broncode voor uw CPU-architectuur:

git clone https://github.com/dsx-ai-factory/nvkr.git &&
cd nvkr &&
bash scripts/nvkr-quickstart.sh

Wacht op status: complete en observed outputs: 3. De native CLI is bin/nvkr. Er wordt niets gepubliceerd of uitgerold, en een lokale build is niet ondertekend. Om ook de node-image te bouwen, draait de walkthrough van NVIDIA een tweede script:

NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01

Die build compileert de NVKE-nodeagent en OVN-Kubernetes vanuit broncode, voegt op checksum vastgepinde upstreamreleases van de Kubernetes 1.36-pakketten en de SPIRE-agent toe, start een virtuele machine op vanaf de Ubuntu-installer, installeert de agents en zet de Kubernetes- en netwerkpakketten klaar op schijf. Het resultaat is een QCOW2-image. De buildhost heeft Docker en KVM-ondersteuning nodig.

Voorbij de quickstart selecteert de tutorial-Definition van NVKR de NVKE-CLI, de image van het managementplane en de Helm-bundel, en de gecombineerde candidate-Definition van NVKE breidt dat uit tot container- en node-images voor zowel amd64 als arm64.

5.2 Wat verificatie wel en niet bewijst

NVKR is zorgvuldig met zijn claims, en uw releaseproces zou dat ook moeten zijn. Een handtekening authenticeert wie een uitspraak over een artifact heeft gedaan; een digest bindt die uitspraak aan specifieke bytes. Ondertekening claimt geen eigendom van de software erin, en een geldige handtekening alleen maakt een artifact nog niet klaar voor uitrol.

BewerkingWat het vaststelt
Een Release bekijkenInspecteert alleen metadata; geen handtekeningcontroles, geen download van de payload
Een uitvoer ophalenHaalt de payload op en controleert de integriteit ervan; verifieert geen handtekeningen of uw beleid
authenticity verifiërenAuthenticeert handtekeningen en bewijs onder uw beleid, zonder payloads te downloaden
artifact-publication verifiërenAuthenticeert de publicatieclaim onder uw beleid en controleert de payloads waarnaar wordt verwezen

Verificatie vereist Linux, vastgepinde tools en een expliciet beleid (macOS-gebruikers verifiëren binnen Docker). In de preview stelt NVIDIA dat nog geen enkele NVKR-Release gekwalificeerd is, dat de ondersteunde verificatie geen byte-exacte reproductie, afwezigheid van kwetsbaarheden of gereedheid voor uitrol vaststelt, en dat SBOM's van node-images producent- en materiaalsubjecten vastleggen in plaats van de geïnstalleerde schijfinhoud te inspecteren. Behandel het bewijs van NVKR als één invoer voor uw eigen releasegate, naast kwetsbaarheidsscans en hardwarevalidatie.

6. Workflow: van servers in het rack tot een klantcluster

Zeven stappen: bouwen met NVKR; artifacts klaarzetten; een seedcluster starten met nvkectl bootstrap site; overschakelen naar een managementcluster van drie nodes dat door NICo is ingericht; het managementplane installeren en beveiligen; een release set publiceren; het klantcluster aanmaken en de kubeconfig overdragen.

6.1 Vereisten

  • Drie CPU-servers voor het managementcluster, plus een aparte Linux-bootstraphost op het locatienetwerk met containerd, nerdctl, kind, Helm en kubectl.
  • Drie CPU-servers voor de control plane van elk workloadcluster.
  • Een pool GPU-servers voor workernodes.
  • Een NICo-installatie met ingeschreven capaciteit.
  • Een Linux-buildhost met Docker en KVM-ondersteuning.
  • Een HTTP-server voor de node-image, een containerregistry voor de controllerimage en internettoegang voor de opensource-images en Helm-charts die tijdens de installatie worden gebruikt.
  • Uw eigen SPIRE-certificaatautoriteit. Nodes van het managementcluster die vanaf de node-image zijn gebouwd, hebben bij de bootstrap uw CA-bestanden nodig. Zonder die bestanden gebruikt SPIRE een zelfondertekende CA die geen enkele node vooraf kan vertrouwen, zodat nodes niet kunnen attesteren en niet kunnen toetreden.

6.2 Bouwen en klaarzetten

Bouw zoals in sectie 5.1, push daarna de controllerimage naar uw registry, kopieer nvkectl naar de bootstraphost en zet de QCOW2-image op de HTTP-server. NVIDIA merkt op dat een lokale imagebuild geen gekwalificeerde release is: de build en smoketest valideren geen echte NICo-boot, schijfselectie of volledige configuratie bij de eerste start. Provisioning vanaf een QCOW2 vereist ook een locatiespecifieke EFI-imager en een iPXE-script dat de image downloadt en naar schijf schrijft, samen gevalideerd op uw hardware.

6.3 Het managementcluster bootstrappen

nvkectl bootstrap site -f site-a.yaml \
  --nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>

site-a.yaml bevat de invoer die NICo nodig heeft om drie managementservers in te richten. Het commando start een tijdelijk kind-cluster met één node op de bootstraphost, waarop de NVKE-software draait die nodig is voor de inrichting. De NVKE-controller vraagt NICo om drie servers, NICo start ze op vanaf de node-image, en wanneer alle drie zijn toegetreden, verwijdert de bootstrap het tijdelijke cluster. Dit is het bekende "bootstrap and pivot"-patroon van Cluster API.

Bewaar de bootstrap-kubeconfig en het etcd-encryptiesleutelbestand direct in beveiligde opslag. Het sleutelbestand is de enige kopie van de etcd-encryptiesleutel van het managementcluster die niet op een node staat, en er is nog geen back-up- of restoreprocedure.

6.4 Het managementplane installeren en nvkectl koppelen

Installeer het NVKE-managementplane op het managementcluster en voer daarna nvkectl config set-site uit om de CLI naar de NVKE API te laten wijzen. Voor een installatie zonder releasebeschrijving moeten de controller- en profielimages op de managementnodes klaarstaan en in de stackconfiguratie worden genoemd.

Beveilig de API (sectie 7.2) voordat iemand anders erbij kan: na de installatie luistert die op poort 30080 van elke managementnode, over gewoon HTTP, met authenticatie uit.

6.5 Een release set publiceren

Klanten hebben nooit te maken met besturingssysteemimages of cloud-init. Ze kiezen een benoemde release die u publiceert. Een release set bestaat uit drie delen:

  1. Machine-image: het iPXE-script dat NICo uitvoert om een server op te starten.
  2. Clusterrelease: een machine-image plus de cloud-initconfiguratie die een control-planenode voorbereidt, met vastlegging van de Kubernetes-versie die wordt geïnstalleerd.
  3. Nodepoolrelease: de equivalente image en configuratie voor workernodes.
nvkectl create machineimage -f machineimage.yaml
nvkectl create clusterrelease -f clusterrelease.yaml
nvkectl create nodepoolrelease -f nodepoolrelease.yaml

Behandel release sets als een productcatalogus. Geef ze namen waaraan een klant kan zien wat hij krijgt (het voorbeeld van NVIDIA gebruikt k8s-1.36.3-amd64), publiceer aparte releases per CPU-architectuur en GPU-generatie, en wijzig een gepubliceerde release nooit ter plekke: publiceer een nieuwe en verplaats klanten bewust.

6.6 Het klantcluster aanmaken

Een clusterverzoek herhaalt de NICo-invoer uit de locatiespecificatie en voegt een Kubernetes-versie toe. De control plane en elke nodepool hebben eigen instancetypen, VPC-prefixen en release. Het voorbeeld van NVIDIA:

name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
  desiredCount: 3
  nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
  - name: gpu
    nodeNamePrefix: gpu
    desiredNodeCount: 4
    nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nvkectl create cluster -f customer-a.yaml

Het cluster blijft op Provisioning staan totdat de eerste control-planenode kubeadm init heeft uitgevoerd en NVKE OVN-Kubernetes en NodeLocal DNSCache heeft geïnstalleerd; daarna wordt het Provisioned. Let op etcdEncrypted: true: versleuteling van etcd-data is een keuze per cluster, en wij raden aan dit de standaard te maken in uw verzoeksjablonen.

6.7 Toegang overdragen

nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig

Dit is een beheerders-kubeconfig, en in de preview kan NVKE die niet intrekken: hij blijft geldig totdat het clientcertificaat verloopt, omdat NVKE de certificaatautoriteit van een workloadcluster niet roteert. Geef hem alleen aan de clusterbeheerders van de klant, via een beveiligd kanaal, en laat hen direct beperktere credentials binnen het cluster aanmaken. Een voorbeeld van Workstation met standaard Kubernetes-RBAC:

# Workstation example: run once with the admin kubeconfig, then store it offline
export KUBECONFIG=customer-a.kubeconfig
kubectl create namespace ml-team
kubectl -n ml-team create serviceaccount deployer
kubectl -n ml-team create rolebinding deployer-edit \
  --clusterrole=edit --serviceaccount=ml-team:deployer
# Short-lived token for CI or a developer, instead of sharing the admin file
kubectl -n ml-team create token deployer --duration=8h

6.8 Er een GPU-cluster van maken

NVKE levert conforme Kubernetes op GPU-servers. De GPU-versnelde runtime wordt binnen elk workloadcluster toegevoegd met AI Cluster Runtime (AICR) van NVIDIA, nodepakketten met NodeWright en automatisering van storingsherstel met NVSentinel. NVKR kan ook AICR-artifacts bouwen. Zodra de runtime GPU's aanbiedt, is een smoketest een pod die er een aanvraagt (voorbeeld van Workstation; kies een CUDA-imagetag die bij uw driver past):

apiVersion: v1
kind: Pod
metadata:
  name: gpu-smoke
spec:
  restartPolicy: Never
  containers:
    - name: cuda
      image: nvcr.io/nvidia/cuda:<tag>
      command: ["nvidia-smi"]
      resources:
        limits:
          nvidia.com/gpu: 1

7. Beveiligingsmodel

7.1 Identiteit van nodes

Elke node toont een geattesteerde SPIFFE-identiteit, via SPIRE ondersteund door zijn TPM, voordat hij join-credentials krijgt. Nodes van het managementcluster vertrouwen uw SPIRE-CA (aangeleverd bij de bootstrap); nodes van workloadclusters ontvangen de SPIRE-trustbundel van het managementcluster in hun user data. Dat dicht een klassiek gat bij bare metal: een server die alleen het netwerk bereikt, kan niet toetreden tot het cluster van een klant. De vereiste van een virtuele TPM in de quickstart bestaat om dezelfde reden.

7.2 De API: gewoon HTTP, geen authenticatie, geen autorisatie

Standaard luistert de NVKE API op poort 30080 van elke managementnode zonder TLS, en iedereen op een netwerk dat u toelaat, kan elk endpoint aanroepen, inclusief aanmaken en verwijderen. Zelfs met authenticatie ingeschakeld doet NVKE geen autorisatie: elke geauthenticeerde aanroeper kan elk workloadcluster beheren. Ons minimum voordat er een aanroeper wordt toegelaten:

  1. Volg de procedure van NVKE om alleen de netwerken toe te laten die de API nodig hebben, en dwing hetzelfde af aan de rand van uw netwerk met firewallregels of switch-ACL's op het management-VLAN.
  2. Schakel API-authenticatie in. Zodra die aanstaat, genereert u een OIDC-kubeconfig met nvkectl generate oidc-kubeconfig; daarmee moeten enkele commando's die de Kubernetes API van het managementcluster rechtstreeks lezen (get kubeconfig, get providers en de commando's voor machine-images en releases) in plaats daarvan worden uitgevoerd met kubectl en de beheerders-kubeconfig van het managementcluster.
  3. Zet uw eigen TLS-endpoint vóór de API, omdat tokens anders onversleuteld over het netwerk gaan, en houd de hop daarachter op een geïsoleerd managementnetwerk. Een voorbeeld van Workstation met nginx op een beheerbastion:
# Workstation example: TLS in front of the NVKE API (preview serves plain HTTP)
upstream nvke_api {
    server 10.0.10.11:30080;
    server 10.0.10.12:30080;
    server 10.0.10.13:30080;
}
server {
    listen 443 ssl;
    server_name nvke-api.example.internal;
    ssl_certificate     /etc/ssl/nvke-api/fullchain.pem;
    ssl_certificate_key /etc/ssl/nvke-api/privkey.pem;
    allow 10.20.0.0/24;   # operator and automation subnet only
    deny  all;
    location / {
        proxy_pass http://nvke_api;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
  1. Geef NVKE API-tokens alleen uit aan mensen en systemen die elk cluster mogen beheren, en houd die lijst kort. Zet eventuele selfservice per tenant in uw eigen portaal, dat autorisatie afdwingt en NVKE namens de tenant aanroept.

7.3 Data in rust

Schakel etcd-versleuteling per cluster in. Vertrouw niet op de node-imagevariant met volledige schijfversleuteling (FDE): elke imagebuild genereert één volumesleutel die elke node die ervan is gebouwd erft, de bootstrap-passphrase is openbaar en blijft in de GRUB-configuratie staan, en iedereen met de image en de passphrase kan de sleutel herstellen. NVIDIA stelt dat FDE-images alleen voor evaluatie zijn.

8. Operaties op dag twee

TaakHoe in de previewLet op
Een nodepool schalennvkectl patch nodepool (accepteert alleen desiredNodeCount)Er moet capaciteit voor het instancetype in NICo zijn
De control plane upgradennvkectl patch cluster met een gewijzigde controlPlaneKubernetesVersionTest eerst tegen een bijpassende clusterrelease
Kubernetes van een nodepool upgradenStuur kubernetesVersion in een updateverzoek naar /api/nodePools/<NODE_POOL_ID>Bestaande nodes raken verouderd; ze worden niet automatisch vervangen
Verouderde nodes vervangenMet recycleBudget boven 0 markeert de automatische modus ze met nvke.nvidia.com/NeedsRecycle; u of NVSentinel verwijdert zeNVKE draint of verwijdert niet; nvkectl kan geen velden van de automatische modus instellen en geen gemarkeerde nodes tonen
Labels of taints van nodes wijzigenVastgelegd bij aanmaak en één keer toegepast wanneer een node toetreedt; gebruik daarna kubectl label en kubectl taintVerwijderde labels worden niet opnieuw toegevoegd
Configuratie van een nodepool wijzigenAlleen nodes die na de wijziging worden aangemaakt, gebruiken diePlan een recycle om te convergeren
Het managementplane upgraden of back-uppenNog geen procedureBewaar de bootstrap-kubeconfig en de etcd-sleutel; plan voor een herbouw

Omdat NVKE markeert maar niet draint, is het veilige recyclepatroon voor GPU-nodes het gebruikelijke: cordon, wacht op langlopende jobs of maak er een checkpoint van, drain, verwijder, en laat de pool de node vervangen vanuit de nieuwe release. Automatiseer het in NVSentinel of uw eigen controller, met voor trainingspools een budget van één node per pool tegelijk.

9. Telemetrie

De NVKE-telemetriepipeline (NKTP) is een Helm-chart op basis van OpenTelemetry die logs, metrics en traces verzamelt en via OTLP exporteert. De standaardbackend is alleen bedoeld voor evaluatie: die houdt data in het geheugen en geeft anonieme gebruikers beheerderstoegang tot Grafana. Laat hem naar uw eigen backend wijzen voordat iemand erop vertrouwt. In ons referentieontwerp voor NVIDIA-observability sturen wij OTLP naar een Collector-gateway die uitwaaiert naar Grafana Mimir, Tempo en Grafana voor metrics en traces en naar de Elastic-stack voor logs, en voegen wij DCGM toe voor GPU-gezondheid en UFM voor de InfiniBand-fabric. NKTP past erin als nog een OTLP-bron.

Signalen die vanaf dag één een alert waard zijn: fouten in controllers van het managementplane, clusters die vastzitten in Provisioning, nodes waarvan de attestatie faalt, nodes die langer dan uw recyclevenster als NeedsRecycle zijn gemarkeerd, NICo-capaciteit per instancetype, en het verlopen van certificaten op overgedragen kubeconfigs.

10. Beperkingen van de preview en wat wij aan elk ervan doen

Beperking (uit de previewstatus van NVIDIA)RisicoMitigatie
De API is na installatie gewoon HTTP met authenticatie uitIedereen op een toegelaten netwerk kan clusters aanmaken of verwijderenNetwerken beperken, authenticatie inschakelen, TLS-proxy, geïsoleerd management-VLAN (sectie 7.2)
Geen autorisatieElke tokenhouder kan elk cluster beherenWeinig tokens; selfservice voor tenants via uw eigen portaal
Klanten krijgen alleen een beheerders-kubeconfig, die niet kan worden ingetrokkenEen gelekt bestand blijft geldig tot het certificaat verlooptAlleen overdragen aan clusterbeheerders; RBAC-serviceaccounts en kortlevende tokens aanmaken; verloopdata bijhouden
Het managementcluster upgradet, schaalt of vervangt zichzelf nietHardwarestoring of upgrade vereist handwerkDrie nodes op aparte stroom en switches; reserveonderdelen; gedocumenteerd herbouwrunbook
Geen procedure voor upgrade of back-up/restore van het managementplaneVerlies van state betekent het managementplane opnieuw bouwenDe etcd-sleutel en kubeconfig beveiligen; previewlocaties behandelen als herbouwbare labs
Eigen SPIRE-CA vereist voor managementnodesNodes kunnen niet attesteren of toetredenCA-bestanden vóór de bootstrap voorbereiden
Configuratiewijzigingen van nodepools vervangen geen draaiende nodesConfiguratiedrift tussen nodesGeautomatiseerde recycle met NVSentinel of een controller
Lokale imagebuilds zijn geen gekwalificeerde releases; QCOW2 vereist een locatie-imagerBoot- of eerste-startfouten op echte hardwareImage en imager samen valideren op de doelhardware vóór gebruik
FDE-images bieden geen vertrouwelijkheid van data in rustVals gevoel van versleutelingNiet gebruiken voor echte data; vertrouwen op etcd-versleuteling en uw eigen schijfversleutelingsschema
De standaard telemetriebackend werkt in het geheugen met anonieme Grafana-beheerderDataverlies en open dashboardsNKTP naar uw eigen backend laten wijzen
Geen enkele NVKR-Release is gekwalificeerdOnbewezen combinaties van artifactsUw eigen kwalificatiegate per GPU-generatie draaien

11. Hoe NVKE zich verhoudt tot andere benaderingen

NVKE is niet de enige manier om Kubernetes op GPU-servers te draaien. Een eerlijke vergelijking, op het niveau van ontwerp in plaats van functies die van maand tot maand veranderen:

BenaderingSterke puntenAfwegingenHet best geschikt voor
NVKE + NVKRGebouwd voor multitenant GPU-fabrieken; geïsoleerd cluster per klant; door hardware geattesteerde nodes; door NVIDIA gevalideerde softwarecombinaties; open sourcePublic preview; rond NICo gebouwd; managementplane nog in ontwikkeling; nog geen autorisatielaagGPU-clouds, telecombedrijven en grote gedeelde GPU-omgevingen die een beheerde Kubernetes-dienst plannen
Cluster API met uw eigen toolingDezelfde open standaard die NVKE gebruikt; volledige controle; breed ecosysteem van providersU bouwt en onderhoudt de dienstlaag, imagepipeline en GPU-kwalificatie zelfTeams met sterke platform engineering en infrastructuur zonder NICo
Algemene Kubernetes-distributies en fleetmanagersVolwassen, ondersteund, veel integraties; meerdere leveranciers voegen NVKE-componenten toeGPU-kwalificatie en bare-metalintegratie verschillen; licentiekostenOrganisaties die vandaag supportcontracten en productiegereedheid nodig hebben
Gehoste Kubernetes op een publieke of GPU-cloudGeen hardware of control plane om te beheren; snel te startenMinder controle over hardware, datalocatie en kosten bij langdurige bezettingWisselende workloads of workloads in een vroeg stadium; teams zonder datacenteroperaties

De benaderingen sluiten elkaar niet uit. Het model van NVKR met vastgepinde, ondertekende node-images is de moeite waard om over te nemen, wat uw clusters ook installeert, en NVIDIA noemt meerdere leveranciers van distributies en platforms die NVKE-componenten in hun eigen producten integreren.

12. Een gefaseerd evaluatieplan

  1. Week 1: lokale quickstart. Een Linux-host of VM (amd64 of arm64) met minimaal 6 CPU's, 12 GiB vrij geheugen en 100 GiB vrije schijfruimte, Docker en ondersteuning voor een virtuele TPM; op macOS draait de handleiding voor een lokale locatie van NVKE binnen een Colima-VM. Volg die tot en met het aanmaken van een workloadcluster en bevestig dat nodes Ready melden. Doel: het team begrijpt de objecten (locatie, release set, cluster, nodepool) en de API.
  2. Week 2 tot 3: NVKR in uw pipeline. Draai de tutorial-Definition en daarna de gecombineerde NVKE-candidate; publiceer naar een private registry; schrijf een Verification Policy en verifieer authenticity en artifact-publication in CI. Doel: u kunt elk artifact dat u zou uitrollen opnieuw bouwen en verifiëren.
  3. Week 3 tot 6: hardwarelab. Drie managementservers, drie control-planeservers en twee tot vier GPU-servers op NICo. Valideer image en imager op uw hardware, bootstrap, beveilig de API zoals in sectie 7, publiceer twee release sets en maak twee tenantclusters aan. Voeg AICR toe, draai GPU-smoketests en een trainingsjob over meerdere nodes, recycle een node, upgrade een control plane. Doel: een schriftelijke lijst met hiaten ten opzichte van uw servicetoezeggingen.
  4. Na de preview: pilot. Draai het lab opnieuw op de algemeen beschikbare release, dicht de hiaten en pilot daarna met één interne tenant voordat er een externe klant bij komt.

Exitcriteria die het waard zijn om vooraf op te schrijven: tijd van verzoek tot Provisioned, mislukte node-attestaties, recycletijd per GPU-node, verstoring van lopende jobs door upgrades, en hoeveel handmatige stappen er in elk runbook overblijven.

13. Vaardigheden die dit vraagt van platform- en DevOps-teams

  • Cluster API en bare-metal-provisioning: machines, bootstrap en pivot, iPXE en imaging, VPC's en instancetypen.
  • Supply-chainbeveiliging: vastgepinde invoer, SBOM's, herkomstgegevens, handtekeningbeleid en wat elk daarvan werkelijk bewijst.
  • Workloadidentiteit: SPIFFE/SPIRE, TPM-attestatie, certificaatautoriteiten en trustbundels.
  • Multitenant Kubernetes: isolatie, RBAC, levenscyclus van credentials, etcd-versleuteling.
  • GPU-operaties: nodepools per GPU-generatie, kwalificatie van runtime en driver, veilig recyclen van nodes waarop lange jobs draaien.
  • Observability: OpenTelemetry-pipelines, GPU- en fabrictelemetrie, alerting op fouten bij provisioning en attestatie.

14. Hoe Workstation kan helpen

Wij ontwerpen, leveren en beheren GPU-infrastructuur in het Verenigd Koninkrijk. Voor teams die naar NVKE en NVKR kijken, kunnen wij de evaluatie plannen, lab- en productiehardware dimensioneren en leveren, het managementnetwerk en de hardening van de API ontwerpen, uw NVKR-verificatiegate in CI inbouwen, NKTP, DCGM en fabrictelemetrie koppelen aan een OpenTelemetry-stack, en de runbooks voor recycling en upgrades schrijven. Als u nog niet klaar bent om eigen racks te draaien, vergelijkt onze pagina over private GPU-clouds bouwopties, en vergelijkt gpuleasing.co.uk leasen met kopen. Neem contact met ons op of vraag onze AI Sales Engineer om een cluster te dimensioneren.

Opmerkingen en bronnen

  • NVIDIA Technical Blog, Manage Kubernetes Clusters for GPU Infrastructure with NVIDIA Kubernetes Engine, 10 november 2026.
  • NVKE-documentatie, inclusief de pagina's over de previewstatus, ondersteunde platforms en API-authenticatie.
  • GitHub: dsx-ai-factory/nvke, dsx-ai-factory/nvkr, cluster-api-provider-nico en hun openbare roadmaps.
  • Beide projecten zijn in public preview. API's, configuratie en gedrag kunnen tussen releases veranderen, en NVIDIA raadt ze nog niet aan voor productieworkloads. Versies en beperkingen zijn zoals gedocumenteerd op 14 november 2026.
  • Voorbeelden die zijn gemarkeerd als "voorbeeld van Workstation" zijn van onszelf en maken geen deel uit van de documentatie van NVIDIA.

Erkenning van rechten: NVIDIA, het NVIDIA-logo, DSX en CUDA zijn handelsmerken en/of geregistreerde handelsmerken van NVIDIA Corporation in de Verenigde Staten en andere landen. Kubernetes is een geregistreerd handelsmerk van The Linux Foundation. Andere genoemde product- en bedrijfsnamen zijn eigendom van hun respectieve eigenaren. Al die rechten worden erkend en voorbehouden aan hun eigenaren.

Deel dit artikel

Meer in Technology

AI-developerlaptops: LLM's lokaal draaien onder Linux met GPU's van 16 GB en 24 GB (gids 2026)

AI-developerlaptops: LLM's lokaal draaien onder Linux met GPU's van 16 GB en 24 GB (gids 2026)

Wat er past op een RTX 5080 of RTX 5090 Laptop GPU, de geheugenberekening, de open modellen die de moeite waard zijn, Ubuntu 26.04 inrichten met de NVIDIA-stack, Ollama, llama.cpp en vLLM, codeerassistenten, LoRA-fine-tuning, beveiliging, en wanneer werk naar een server moet

Lees meer
ML- en LLM-systemen testen die u niet correct kunt bewijzen: een Python-kit voor bewijsmateriaal

ML- en LLM-systemen testen die u niet correct kunt bewijzen: een Python-kit voor bewijsmateriaal

Bewijsmateriaal in plaats van bewijzen, in ongeveer 400 regels Python met echte output: slice-metrics met bootstrap-intervallen en een pass/fail-contract, property- en metamorfe tests met Hypothesis, kalibratie en conformal prediction, Pydantic-contracten en regressie-evals voor LLM-output, driftcontroles, een CI-gate en exacte verificatie van een klein neuraal netwerk

Lees meer
TorchCurves in de praktijk: leerbare B-spline- en Legendre-curves in PyTorch

TorchCurves in de praktijk: leerbare B-spline- en Legendre-curves in PyTorch

torchcurves installeren, een curve fitten en dimensioneren, kiezen tussen B-spline en Legendre en de input map, een monotone kalibratiecurve en een additief model op tabeldata bouwen, vergelijken met SciPy, scikit-learn, een KAN en een MLP, coëfficiënten naar JSON exporteren, testen en in productie draaien, met echte output

Lees meer