Een praktijkgids voor NVIDIA Kubernetes Engine (NVKE) en NVIDIA Kubernetes Recipes (NVKR), de twee opensourceprojecten die NVIDIA op 10 november 2026 op KubeCon North America in public preview uitbracht. De gids behandelt de architectuur, elke component en vastgepinde versie, de build- en verificatielevenscyclus van NVKR, de volledige workflow van servers in het rack tot een GPU-cluster voor een klant, het beveiligingsmodel, operaties op dag twee, de bekende beperkingen van de preview met voor elke beperking een hardeningchecklist, hoe NVKE zich verhoudt tot andere manieren om GPU-Kubernetes te draaien, en een gefaseerd evaluatieplan.
Deze technote hoort bij ons bericht op businessniveau, NVIDIA NVKE en NVKR: waarom GPU-Kubernetes het besturingssysteem van de AI-fabriek wordt. Alles hieronder is ontleend aan de walkthrough bij de aankondiging van NVIDIA, de NVKE-documentatie en de repositories van NVKE en NVKR per 14 november 2026. Commando's zijn van NVIDIA, tenzij ze zijn gemarkeerd als voorbeeld van Workstation. Beide projecten veranderen tijdens de preview snel, dus controleer altijd de actuele documentatie voor vlaggen en velden.
1. Het probleem dat NVKE en NVKR onderling verdelen
Een AI-fabriek (de term van NVIDIA voor een datacenter dat is gebouwd om op schaal AI te produceren) die GPU-capaciteit als Kubernetes wil verkopen of delen, heeft twee afzonderlijke problemen:
- Een beheerde Kubernetes-dienst draaien. API-gestuurde provisioning, isolatie van tenants, upgrades, vervanging en herstel van nodes, ondersteund door servicetoezeggingen.
- De software kwalificeren. Weten welke combinatie van besturingssysteem, kernel, Kubernetes, netwerkplug-in, agents en GPU-runtime op welke GPU-generatie werkt, en precies die combinatie later opnieuw kunnen bouwen.
NVKE neemt het eerste probleem voor zijn rekening en NVKR het tweede. Ze zijn bewust scheidbaar: NVKE heeft tijdens runtime geen afhankelijkheid van NVKR, en NVKR kan artifacts bouwen voor andere Kubernetes-beheersystemen. De fabriek houdt zelf de controle over haar software, operaties, dienstverlening en klantervaring.
2. Componenten in één oogopslag
| Component | Rol | Waar het draait |
|---|---|---|
| NVKE-managementplane | REST API en controllers die workloadclusters aanmaken en beheren | Het managementcluster (drie CPU-servers) |
nvkectl | CLI voor operators: bootstrapt de locatie, publiceert release sets, maakt clusters aan, haalt kubeconfigs op | Bootstraphost en werkstations van operators |
| Seedcluster | Tijdelijk kind-cluster met één node dat het managementcluster vormt en daarna wordt verwijderd | Bootstraphost |
| Cluster API + CAPNICo | Standaard Kubernetes-provisioninginterface, met de Cluster API-infrastructuurprovider voor NICo | Managementcluster |
| NICo (NVIDIA Infra Controller) | Bare-metallevenscyclus: ingeschreven capaciteit, VPC's en prefixen, instancetypen, iPXE-boot | Uw locatie (aparte installatie) |
| SPIRE-server en -agents | TPM-gebaseerde node-attestatie en SPIFFE-identiteiten; een node krijgt pas join-credentials na attestatie | Managementcluster en elke node |
| NVKE-nodeagent | Agent op de node, door NVKR in de node-image gecompileerd | Elke node |
| OVN-Kubernetes en NodeLocal DNSCache | Clusternetwerk en DNS-caching, door NVKE geïnstalleerd als onderdeel van de provisioning | Elk workloadcluster |
| NVKE-telemetriepipeline (NKTP) | Helm-chart op basis van OpenTelemetry die logs, metrics en traces verzamelt en via OTLP exporteert | Management- en workloadclusters |
| NVKR | CLI, componentcatalogi en declaratieve Definitions die artifacts voor NVKE en AI Cluster Runtime (AICR) bouwen, ondertekenen en publiceren | Buildhost of GitHub Actions |
| AICR, NodeWright, NVSentinel | Binnen workloadclusters toegevoegd voor respectievelijk de GPU-versnelde runtime, nodepakketten en automatisering van storingsherstel | Workloadclusters |
3. Architectuur
De besturingsstroom is het makkelijkst te volgen vanuit de operator. De operator praat alleen met de NVKE API, via nvkectl. NVKE vertaalt een clusterverzoek naar Cluster API-objecten; CAPNICo zet die om in instanceverzoeken aan NICo; NICo kiest servers van het gevraagde instancetype in het gevraagde VPC-prefix en start ze op met het iPXE-script uit de gekozen machine-image. Elke server start de door NVKR gebouwde image op, de SPIRE-agent attesteert met de TPM van de server bij de SPIRE-server van het managementcluster, en pas daarna krijgt de node de credentials die nodig zijn om kubeadm te draaien en toe te treden. Klanten zien hier niets van: ze ontvangen een kubeconfig voor een cluster dat eruitziet als elk ander conform Kubernetes 1.36-cluster.
4. In de preview vastgepinde versies
De platformreferentie van NVKE noemt de gevalideerde combinatie hieronder. Om het "vastpinnen" gaat het juist: NVKR bouwt uit precies deze invoer en legt die vast, zodat een node te herleiden is tot zijn bronnen.
| Onderdeel | Previewversie | Opmerkingen |
|---|---|---|
| Kubernetes (management- en workloadclusters) | 1.36.3 | 1.34.2, 1.35.3 en 1.37.2 staan klaar in de node-image maar worden niet ondersteund |
| Besturingssysteem van nodes | Ubuntu 24.04 LTS of 26.04 LTS | De voorbeeld-MachineImage installeert Ubuntu 24.04 vanaf de installer-ISO |
| CPU-architecturen | amd64, arm64 | Aparte images per architectuur; nodepools kunnen verschillende images gebruiken |
| Cluster API (core, kubeadm-bootstrap en control plane) | v1.13.6 | clusterctl v1.13.6 |
| CAPNICo | v0.1.0 | NICo is de standaard infrastructuurprovider; LaunchLayer kan ook worden ingeschakeld |
| OVN-Kubernetes | 2.4.2 | Vanuit broncode in de node-image gecompileerd |
| SPIRE-agent | 1.14.1, TPM-plugin 1.9.0 | Upstreamrelease vastgepind op checksum |
| Bootstraptooling | kind v0.32.0, kubectl v1.36.0, Helm v4.2.4 | Plus containerd en rootful nerdctl op de bootstraphost |
| Go-toolchain | 1.27.4 of later voor NVKE; 1.27.2 vastgepind voor NVKR | De NVKR-launcher biedt aan de vastgepinde Go lokaal te installeren |
5. NVKR: Definition, Run, Release, Verify
NVKR is een build- en releasesysteem, geen verzameling scripts. De openbare levenscyclus kent drie fasen:
- De op te leveren onderdelen definiëren. Een Definition selecteert benoemde uitvoer (executables, containerimages, Helm-charts, deploymentbundels of node-images), de componenten, platforms en formaten ervan. Catalogs leveren vastgepinde bronnen, artifacts en tools. Een Environment levert instellingen voor uitvoering, registry en ondertekening.
- Inspecteren en uitvoeren. NVKR leidt een Plan en afhankelijkheidsgrafen af die u kunt beoordelen voordat er iets wordt uitgevoerd, en voert het daarna lokaal uit of genereert GitHub Actions-workflows. Elke Run legt de vereiste uitvoer vast, de artifacts die daadwerkelijk zijn waargenomen, het bewijs en de fouten.
- Publiceren en verifiëren. Een Release is een OCI-registryreferentie, vastgepind op digest, die de uitvoer koppelt aan de SBOM's en herkomstgegevens ervan. Afnemers kiezen een Verification Policy (de workflowidentiteit en uitgever die ze accepteren) en authenticeren de claims voordat ze de artifacts gebruiken.
5.1 Eerste build
De quickstart bouwt de NVKE-CLI, de containerimage van de controller en de Helm-chart ervan, met SBOM's van de afhankelijkheden. Er zijn Git 2.38 of later, Bash en een draaiende Docker voor nodig; de launcher controleert de vereisten, selecteert de vastgepinde Go-compiler (en vraagt het voordat hij die installeert) en bouwt NVKR zelf vanuit broncode voor uw CPU-architectuur:
git clone https://github.com/dsx-ai-factory/nvkr.git &&
cd nvkr &&
bash scripts/nvkr-quickstart.sh
Wacht op status: complete en observed outputs: 3. De native CLI is bin/nvkr. Er wordt niets gepubliceerd of uitgerold, en een lokale build is niet ondertekend. Om ook de node-image te bouwen, draait de walkthrough van NVIDIA een tweede script:
NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01
Die build compileert de NVKE-nodeagent en OVN-Kubernetes vanuit broncode, voegt op checksum vastgepinde upstreamreleases van de Kubernetes 1.36-pakketten en de SPIRE-agent toe, start een virtuele machine op vanaf de Ubuntu-installer, installeert de agents en zet de Kubernetes- en netwerkpakketten klaar op schijf. Het resultaat is een QCOW2-image. De buildhost heeft Docker en KVM-ondersteuning nodig.
Voorbij de quickstart selecteert de tutorial-Definition van NVKR de NVKE-CLI, de image van het managementplane en de Helm-bundel, en de gecombineerde candidate-Definition van NVKE breidt dat uit tot container- en node-images voor zowel amd64 als arm64.
5.2 Wat verificatie wel en niet bewijst
NVKR is zorgvuldig met zijn claims, en uw releaseproces zou dat ook moeten zijn. Een handtekening authenticeert wie een uitspraak over een artifact heeft gedaan; een digest bindt die uitspraak aan specifieke bytes. Ondertekening claimt geen eigendom van de software erin, en een geldige handtekening alleen maakt een artifact nog niet klaar voor uitrol.
| Bewerking | Wat het vaststelt |
|---|---|
| Een Release bekijken | Inspecteert alleen metadata; geen handtekeningcontroles, geen download van de payload |
| Een uitvoer ophalen | Haalt de payload op en controleert de integriteit ervan; verifieert geen handtekeningen of uw beleid |
authenticity verifiëren | Authenticeert handtekeningen en bewijs onder uw beleid, zonder payloads te downloaden |
artifact-publication verifiëren | Authenticeert de publicatieclaim onder uw beleid en controleert de payloads waarnaar wordt verwezen |
Verificatie vereist Linux, vastgepinde tools en een expliciet beleid (macOS-gebruikers verifiëren binnen Docker). In de preview stelt NVIDIA dat nog geen enkele NVKR-Release gekwalificeerd is, dat de ondersteunde verificatie geen byte-exacte reproductie, afwezigheid van kwetsbaarheden of gereedheid voor uitrol vaststelt, en dat SBOM's van node-images producent- en materiaalsubjecten vastleggen in plaats van de geïnstalleerde schijfinhoud te inspecteren. Behandel het bewijs van NVKR als één invoer voor uw eigen releasegate, naast kwetsbaarheidsscans en hardwarevalidatie.
6. Workflow: van servers in het rack tot een klantcluster
6.1 Vereisten
- Drie CPU-servers voor het managementcluster, plus een aparte Linux-bootstraphost op het locatienetwerk met containerd, nerdctl, kind, Helm en kubectl.
- Drie CPU-servers voor de control plane van elk workloadcluster.
- Een pool GPU-servers voor workernodes.
- Een NICo-installatie met ingeschreven capaciteit.
- Een Linux-buildhost met Docker en KVM-ondersteuning.
- Een HTTP-server voor de node-image, een containerregistry voor de controllerimage en internettoegang voor de opensource-images en Helm-charts die tijdens de installatie worden gebruikt.
- Uw eigen SPIRE-certificaatautoriteit. Nodes van het managementcluster die vanaf de node-image zijn gebouwd, hebben bij de bootstrap uw CA-bestanden nodig. Zonder die bestanden gebruikt SPIRE een zelfondertekende CA die geen enkele node vooraf kan vertrouwen, zodat nodes niet kunnen attesteren en niet kunnen toetreden.
6.2 Bouwen en klaarzetten
Bouw zoals in sectie 5.1, push daarna de controllerimage naar uw registry, kopieer nvkectl naar de bootstraphost en zet de QCOW2-image op de HTTP-server. NVIDIA merkt op dat een lokale imagebuild geen gekwalificeerde release is: de build en smoketest valideren geen echte NICo-boot, schijfselectie of volledige configuratie bij de eerste start. Provisioning vanaf een QCOW2 vereist ook een locatiespecifieke EFI-imager en een iPXE-script dat de image downloadt en naar schijf schrijft, samen gevalideerd op uw hardware.
6.3 Het managementcluster bootstrappen
nvkectl bootstrap site -f site-a.yaml \
--nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>
site-a.yaml bevat de invoer die NICo nodig heeft om drie managementservers in te richten. Het commando start een tijdelijk kind-cluster met één node op de bootstraphost, waarop de NVKE-software draait die nodig is voor de inrichting. De NVKE-controller vraagt NICo om drie servers, NICo start ze op vanaf de node-image, en wanneer alle drie zijn toegetreden, verwijdert de bootstrap het tijdelijke cluster. Dit is het bekende "bootstrap and pivot"-patroon van Cluster API.
Bewaar de bootstrap-kubeconfig en het etcd-encryptiesleutelbestand direct in beveiligde opslag. Het sleutelbestand is de enige kopie van de etcd-encryptiesleutel van het managementcluster die niet op een node staat, en er is nog geen back-up- of restoreprocedure.
6.4 Het managementplane installeren en nvkectl koppelen
Installeer het NVKE-managementplane op het managementcluster en voer daarna nvkectl config set-site uit om de CLI naar de NVKE API te laten wijzen. Voor een installatie zonder releasebeschrijving moeten de controller- en profielimages op de managementnodes klaarstaan en in de stackconfiguratie worden genoemd.
Beveilig de API (sectie 7.2) voordat iemand anders erbij kan: na de installatie luistert die op poort 30080 van elke managementnode, over gewoon HTTP, met authenticatie uit.
6.5 Een release set publiceren
Klanten hebben nooit te maken met besturingssysteemimages of cloud-init. Ze kiezen een benoemde release die u publiceert. Een release set bestaat uit drie delen:
- Machine-image: het iPXE-script dat NICo uitvoert om een server op te starten.
- Clusterrelease: een machine-image plus de cloud-initconfiguratie die een control-planenode voorbereidt, met vastlegging van de Kubernetes-versie die wordt geïnstalleerd.
- Nodepoolrelease: de equivalente image en configuratie voor workernodes.
nvkectl create machineimage -f machineimage.yaml
nvkectl create clusterrelease -f clusterrelease.yaml
nvkectl create nodepoolrelease -f nodepoolrelease.yaml
Behandel release sets als een productcatalogus. Geef ze namen waaraan een klant kan zien wat hij krijgt (het voorbeeld van NVIDIA gebruikt k8s-1.36.3-amd64), publiceer aparte releases per CPU-architectuur en GPU-generatie, en wijzig een gepubliceerde release nooit ter plekke: publiceer een nieuwe en verplaats klanten bewust.
6.6 Het klantcluster aanmaken
Een clusterverzoek herhaalt de NICo-invoer uit de locatiespecificatie en voegt een Kubernetes-versie toe. De control plane en elke nodepool hebben eigen instancetypen, VPC-prefixen en release. Het voorbeeld van NVIDIA:
name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
desiredCount: 3
nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
- name: gpu
nodeNamePrefix: gpu
desiredNodeCount: 4
nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nvkectl create cluster -f customer-a.yaml
Het cluster blijft op Provisioning staan totdat de eerste control-planenode kubeadm init heeft uitgevoerd en NVKE OVN-Kubernetes en NodeLocal DNSCache heeft geïnstalleerd; daarna wordt het Provisioned. Let op etcdEncrypted: true: versleuteling van etcd-data is een keuze per cluster, en wij raden aan dit de standaard te maken in uw verzoeksjablonen.
6.7 Toegang overdragen
nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig
Dit is een beheerders-kubeconfig, en in de preview kan NVKE die niet intrekken: hij blijft geldig totdat het clientcertificaat verloopt, omdat NVKE de certificaatautoriteit van een workloadcluster niet roteert. Geef hem alleen aan de clusterbeheerders van de klant, via een beveiligd kanaal, en laat hen direct beperktere credentials binnen het cluster aanmaken. Een voorbeeld van Workstation met standaard Kubernetes-RBAC:
# Workstation example: run once with the admin kubeconfig, then store it offline
export KUBECONFIG=customer-a.kubeconfig
kubectl create namespace ml-team
kubectl -n ml-team create serviceaccount deployer
kubectl -n ml-team create rolebinding deployer-edit \
--clusterrole=edit --serviceaccount=ml-team:deployer
# Short-lived token for CI or a developer, instead of sharing the admin file
kubectl -n ml-team create token deployer --duration=8h
6.8 Er een GPU-cluster van maken
NVKE levert conforme Kubernetes op GPU-servers. De GPU-versnelde runtime wordt binnen elk workloadcluster toegevoegd met AI Cluster Runtime (AICR) van NVIDIA, nodepakketten met NodeWright en automatisering van storingsherstel met NVSentinel. NVKR kan ook AICR-artifacts bouwen. Zodra de runtime GPU's aanbiedt, is een smoketest een pod die er een aanvraagt (voorbeeld van Workstation; kies een CUDA-imagetag die bij uw driver past):
apiVersion: v1
kind: Pod
metadata:
name: gpu-smoke
spec:
restartPolicy: Never
containers:
- name: cuda
image: nvcr.io/nvidia/cuda:<tag>
command: ["nvidia-smi"]
resources:
limits:
nvidia.com/gpu: 1
7. Beveiligingsmodel
7.1 Identiteit van nodes
Elke node toont een geattesteerde SPIFFE-identiteit, via SPIRE ondersteund door zijn TPM, voordat hij join-credentials krijgt. Nodes van het managementcluster vertrouwen uw SPIRE-CA (aangeleverd bij de bootstrap); nodes van workloadclusters ontvangen de SPIRE-trustbundel van het managementcluster in hun user data. Dat dicht een klassiek gat bij bare metal: een server die alleen het netwerk bereikt, kan niet toetreden tot het cluster van een klant. De vereiste van een virtuele TPM in de quickstart bestaat om dezelfde reden.
7.2 De API: gewoon HTTP, geen authenticatie, geen autorisatie
Standaard luistert de NVKE API op poort 30080 van elke managementnode zonder TLS, en iedereen op een netwerk dat u toelaat, kan elk endpoint aanroepen, inclusief aanmaken en verwijderen. Zelfs met authenticatie ingeschakeld doet NVKE geen autorisatie: elke geauthenticeerde aanroeper kan elk workloadcluster beheren. Ons minimum voordat er een aanroeper wordt toegelaten:
- Volg de procedure van NVKE om alleen de netwerken toe te laten die de API nodig hebben, en dwing hetzelfde af aan de rand van uw netwerk met firewallregels of switch-ACL's op het management-VLAN.
- Schakel API-authenticatie in. Zodra die aanstaat, genereert u een OIDC-kubeconfig met
nvkectl generate oidc-kubeconfig; daarmee moeten enkele commando's die de Kubernetes API van het managementcluster rechtstreeks lezen (get kubeconfig,get providersen de commando's voor machine-images en releases) in plaats daarvan worden uitgevoerd metkubectlen de beheerders-kubeconfig van het managementcluster. - Zet uw eigen TLS-endpoint vóór de API, omdat tokens anders onversleuteld over het netwerk gaan, en houd de hop daarachter op een geïsoleerd managementnetwerk. Een voorbeeld van Workstation met nginx op een beheerbastion:
# Workstation example: TLS in front of the NVKE API (preview serves plain HTTP)
upstream nvke_api {
server 10.0.10.11:30080;
server 10.0.10.12:30080;
server 10.0.10.13:30080;
}
server {
listen 443 ssl;
server_name nvke-api.example.internal;
ssl_certificate /etc/ssl/nvke-api/fullchain.pem;
ssl_certificate_key /etc/ssl/nvke-api/privkey.pem;
allow 10.20.0.0/24; # operator and automation subnet only
deny all;
location / {
proxy_pass http://nvke_api;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
- Geef NVKE API-tokens alleen uit aan mensen en systemen die elk cluster mogen beheren, en houd die lijst kort. Zet eventuele selfservice per tenant in uw eigen portaal, dat autorisatie afdwingt en NVKE namens de tenant aanroept.
7.3 Data in rust
Schakel etcd-versleuteling per cluster in. Vertrouw niet op de node-imagevariant met volledige schijfversleuteling (FDE): elke imagebuild genereert één volumesleutel die elke node die ervan is gebouwd erft, de bootstrap-passphrase is openbaar en blijft in de GRUB-configuratie staan, en iedereen met de image en de passphrase kan de sleutel herstellen. NVIDIA stelt dat FDE-images alleen voor evaluatie zijn.
8. Operaties op dag twee
| Taak | Hoe in de preview | Let op |
|---|---|---|
| Een nodepool schalen | nvkectl patch nodepool (accepteert alleen desiredNodeCount) | Er moet capaciteit voor het instancetype in NICo zijn |
| De control plane upgraden | nvkectl patch cluster met een gewijzigde controlPlaneKubernetesVersion | Test eerst tegen een bijpassende clusterrelease |
| Kubernetes van een nodepool upgraden | Stuur kubernetesVersion in een updateverzoek naar /api/nodePools/<NODE_POOL_ID> | Bestaande nodes raken verouderd; ze worden niet automatisch vervangen |
| Verouderde nodes vervangen | Met recycleBudget boven 0 markeert de automatische modus ze met nvke.nvidia.com/NeedsRecycle; u of NVSentinel verwijdert ze | NVKE draint of verwijdert niet; nvkectl kan geen velden van de automatische modus instellen en geen gemarkeerde nodes tonen |
| Labels of taints van nodes wijzigen | Vastgelegd bij aanmaak en één keer toegepast wanneer een node toetreedt; gebruik daarna kubectl label en kubectl taint | Verwijderde labels worden niet opnieuw toegevoegd |
| Configuratie van een nodepool wijzigen | Alleen nodes die na de wijziging worden aangemaakt, gebruiken die | Plan een recycle om te convergeren |
| Het managementplane upgraden of back-uppen | Nog geen procedure | Bewaar de bootstrap-kubeconfig en de etcd-sleutel; plan voor een herbouw |
Omdat NVKE markeert maar niet draint, is het veilige recyclepatroon voor GPU-nodes het gebruikelijke: cordon, wacht op langlopende jobs of maak er een checkpoint van, drain, verwijder, en laat de pool de node vervangen vanuit de nieuwe release. Automatiseer het in NVSentinel of uw eigen controller, met voor trainingspools een budget van één node per pool tegelijk.
9. Telemetrie
De NVKE-telemetriepipeline (NKTP) is een Helm-chart op basis van OpenTelemetry die logs, metrics en traces verzamelt en via OTLP exporteert. De standaardbackend is alleen bedoeld voor evaluatie: die houdt data in het geheugen en geeft anonieme gebruikers beheerderstoegang tot Grafana. Laat hem naar uw eigen backend wijzen voordat iemand erop vertrouwt. In ons referentieontwerp voor NVIDIA-observability sturen wij OTLP naar een Collector-gateway die uitwaaiert naar Grafana Mimir, Tempo en Grafana voor metrics en traces en naar de Elastic-stack voor logs, en voegen wij DCGM toe voor GPU-gezondheid en UFM voor de InfiniBand-fabric. NKTP past erin als nog een OTLP-bron.
Signalen die vanaf dag één een alert waard zijn: fouten in controllers van het managementplane, clusters die vastzitten in Provisioning, nodes waarvan de attestatie faalt, nodes die langer dan uw recyclevenster als NeedsRecycle zijn gemarkeerd, NICo-capaciteit per instancetype, en het verlopen van certificaten op overgedragen kubeconfigs.
10. Beperkingen van de preview en wat wij aan elk ervan doen
| Beperking (uit de previewstatus van NVIDIA) | Risico | Mitigatie |
|---|---|---|
| De API is na installatie gewoon HTTP met authenticatie uit | Iedereen op een toegelaten netwerk kan clusters aanmaken of verwijderen | Netwerken beperken, authenticatie inschakelen, TLS-proxy, geïsoleerd management-VLAN (sectie 7.2) |
| Geen autorisatie | Elke tokenhouder kan elk cluster beheren | Weinig tokens; selfservice voor tenants via uw eigen portaal |
| Klanten krijgen alleen een beheerders-kubeconfig, die niet kan worden ingetrokken | Een gelekt bestand blijft geldig tot het certificaat verloopt | Alleen overdragen aan clusterbeheerders; RBAC-serviceaccounts en kortlevende tokens aanmaken; verloopdata bijhouden |
| Het managementcluster upgradet, schaalt of vervangt zichzelf niet | Hardwarestoring of upgrade vereist handwerk | Drie nodes op aparte stroom en switches; reserveonderdelen; gedocumenteerd herbouwrunbook |
| Geen procedure voor upgrade of back-up/restore van het managementplane | Verlies van state betekent het managementplane opnieuw bouwen | De etcd-sleutel en kubeconfig beveiligen; previewlocaties behandelen als herbouwbare labs |
| Eigen SPIRE-CA vereist voor managementnodes | Nodes kunnen niet attesteren of toetreden | CA-bestanden vóór de bootstrap voorbereiden |
| Configuratiewijzigingen van nodepools vervangen geen draaiende nodes | Configuratiedrift tussen nodes | Geautomatiseerde recycle met NVSentinel of een controller |
| Lokale imagebuilds zijn geen gekwalificeerde releases; QCOW2 vereist een locatie-imager | Boot- of eerste-startfouten op echte hardware | Image en imager samen valideren op de doelhardware vóór gebruik |
| FDE-images bieden geen vertrouwelijkheid van data in rust | Vals gevoel van versleuteling | Niet gebruiken voor echte data; vertrouwen op etcd-versleuteling en uw eigen schijfversleutelingsschema |
| De standaard telemetriebackend werkt in het geheugen met anonieme Grafana-beheerder | Dataverlies en open dashboards | NKTP naar uw eigen backend laten wijzen |
| Geen enkele NVKR-Release is gekwalificeerd | Onbewezen combinaties van artifacts | Uw eigen kwalificatiegate per GPU-generatie draaien |
11. Hoe NVKE zich verhoudt tot andere benaderingen
NVKE is niet de enige manier om Kubernetes op GPU-servers te draaien. Een eerlijke vergelijking, op het niveau van ontwerp in plaats van functies die van maand tot maand veranderen:
| Benadering | Sterke punten | Afwegingen | Het best geschikt voor |
|---|---|---|---|
| NVKE + NVKR | Gebouwd voor multitenant GPU-fabrieken; geïsoleerd cluster per klant; door hardware geattesteerde nodes; door NVIDIA gevalideerde softwarecombinaties; open source | Public preview; rond NICo gebouwd; managementplane nog in ontwikkeling; nog geen autorisatielaag | GPU-clouds, telecombedrijven en grote gedeelde GPU-omgevingen die een beheerde Kubernetes-dienst plannen |
| Cluster API met uw eigen tooling | Dezelfde open standaard die NVKE gebruikt; volledige controle; breed ecosysteem van providers | U bouwt en onderhoudt de dienstlaag, imagepipeline en GPU-kwalificatie zelf | Teams met sterke platform engineering en infrastructuur zonder NICo |
| Algemene Kubernetes-distributies en fleetmanagers | Volwassen, ondersteund, veel integraties; meerdere leveranciers voegen NVKE-componenten toe | GPU-kwalificatie en bare-metalintegratie verschillen; licentiekosten | Organisaties die vandaag supportcontracten en productiegereedheid nodig hebben |
| Gehoste Kubernetes op een publieke of GPU-cloud | Geen hardware of control plane om te beheren; snel te starten | Minder controle over hardware, datalocatie en kosten bij langdurige bezetting | Wisselende workloads of workloads in een vroeg stadium; teams zonder datacenteroperaties |
De benaderingen sluiten elkaar niet uit. Het model van NVKR met vastgepinde, ondertekende node-images is de moeite waard om over te nemen, wat uw clusters ook installeert, en NVIDIA noemt meerdere leveranciers van distributies en platforms die NVKE-componenten in hun eigen producten integreren.
12. Een gefaseerd evaluatieplan
- Week 1: lokale quickstart. Een Linux-host of VM (amd64 of arm64) met minimaal 6 CPU's, 12 GiB vrij geheugen en 100 GiB vrije schijfruimte, Docker en ondersteuning voor een virtuele TPM; op macOS draait de handleiding voor een lokale locatie van NVKE binnen een Colima-VM. Volg die tot en met het aanmaken van een workloadcluster en bevestig dat nodes
Readymelden. Doel: het team begrijpt de objecten (locatie, release set, cluster, nodepool) en de API. - Week 2 tot 3: NVKR in uw pipeline. Draai de tutorial-Definition en daarna de gecombineerde NVKE-candidate; publiceer naar een private registry; schrijf een Verification Policy en verifieer
authenticityenartifact-publicationin CI. Doel: u kunt elk artifact dat u zou uitrollen opnieuw bouwen en verifiëren. - Week 3 tot 6: hardwarelab. Drie managementservers, drie control-planeservers en twee tot vier GPU-servers op NICo. Valideer image en imager op uw hardware, bootstrap, beveilig de API zoals in sectie 7, publiceer twee release sets en maak twee tenantclusters aan. Voeg AICR toe, draai GPU-smoketests en een trainingsjob over meerdere nodes, recycle een node, upgrade een control plane. Doel: een schriftelijke lijst met hiaten ten opzichte van uw servicetoezeggingen.
- Na de preview: pilot. Draai het lab opnieuw op de algemeen beschikbare release, dicht de hiaten en pilot daarna met één interne tenant voordat er een externe klant bij komt.
Exitcriteria die het waard zijn om vooraf op te schrijven: tijd van verzoek tot Provisioned, mislukte node-attestaties, recycletijd per GPU-node, verstoring van lopende jobs door upgrades, en hoeveel handmatige stappen er in elk runbook overblijven.
13. Vaardigheden die dit vraagt van platform- en DevOps-teams
- Cluster API en bare-metal-provisioning: machines, bootstrap en pivot, iPXE en imaging, VPC's en instancetypen.
- Supply-chainbeveiliging: vastgepinde invoer, SBOM's, herkomstgegevens, handtekeningbeleid en wat elk daarvan werkelijk bewijst.
- Workloadidentiteit: SPIFFE/SPIRE, TPM-attestatie, certificaatautoriteiten en trustbundels.
- Multitenant Kubernetes: isolatie, RBAC, levenscyclus van credentials, etcd-versleuteling.
- GPU-operaties: nodepools per GPU-generatie, kwalificatie van runtime en driver, veilig recyclen van nodes waarop lange jobs draaien.
- Observability: OpenTelemetry-pipelines, GPU- en fabrictelemetrie, alerting op fouten bij provisioning en attestatie.
14. Hoe Workstation kan helpen
Wij ontwerpen, leveren en beheren GPU-infrastructuur in het Verenigd Koninkrijk. Voor teams die naar NVKE en NVKR kijken, kunnen wij de evaluatie plannen, lab- en productiehardware dimensioneren en leveren, het managementnetwerk en de hardening van de API ontwerpen, uw NVKR-verificatiegate in CI inbouwen, NKTP, DCGM en fabrictelemetrie koppelen aan een OpenTelemetry-stack, en de runbooks voor recycling en upgrades schrijven. Als u nog niet klaar bent om eigen racks te draaien, vergelijkt onze pagina over private GPU-clouds bouwopties, en vergelijkt gpuleasing.co.uk leasen met kopen. Neem contact met ons op of vraag onze AI Sales Engineer om een cluster te dimensioneren.
Opmerkingen en bronnen
- NVIDIA Technical Blog, Manage Kubernetes Clusters for GPU Infrastructure with NVIDIA Kubernetes Engine, 10 november 2026.
- NVKE-documentatie, inclusief de pagina's over de previewstatus, ondersteunde platforms en API-authenticatie.
- GitHub: dsx-ai-factory/nvke, dsx-ai-factory/nvkr, cluster-api-provider-nico en hun openbare roadmaps.
- Beide projecten zijn in public preview. API's, configuratie en gedrag kunnen tussen releases veranderen, en NVIDIA raadt ze nog niet aan voor productieworkloads. Versies en beperkingen zijn zoals gedocumenteerd op 14 november 2026.
- Voorbeelden die zijn gemarkeerd als "voorbeeld van Workstation" zijn van onszelf en maken geen deel uit van de documentatie van NVIDIA.
Erkenning van rechten: NVIDIA, het NVIDIA-logo, DSX en CUDA zijn handelsmerken en/of geregistreerde handelsmerken van NVIDIA Corporation in de Verenigde Staten en andere landen. Kubernetes is een geregistreerd handelsmerk van The Linux Foundation. Andere genoemde product- en bedrijfsnamen zijn eigendom van hun respectieve eigenaren. Al die rechten worden erkend en voorbehouden aan hun eigenaren.