Een praktijkgids voor teams die moeten beslissen of AMD Instinct een plek verdient in hun AI-infrastructuur, naast of in plaats van NVIDIA. De gids begint bij het interview met Lisa Su in december 2024 in The Circuit van Bloomberg en wat AMD sindsdien heeft geleverd, en behandelt daarna de platforms van 2026 laag voor laag, de productlijnen die kopers daadwerkelijk tegenkomen, de geheugenberekening die het aantal GPU's bepaalt, de vertaalkaart van CUDA naar ROCm, een porteerworkflow met commando's, beide leveranciers op één Kubernetes-platform draaien, een eerlijke benchmarkmethode, een beslisworkflow en de operationele controles voor dag twee.
Deze technote hoort bij ons blogbericht Knabbelen aan de voorsprong van Nvidia: het plan van Lisa Su, twee jaar later, dat het interview samenvat. Cijfers van leveranciers hieronder zijn de eigen gepubliceerde claims van AMD of NVIDIA, geen onafhankelijke benchmarks; waar het ertoe doet, zeggen wij dat erbij. Feiten zijn per 14 november 2026.
1. Van het interview tot Helios
In "AMD's CEO Wants to Chip Away at Nvidia's Lead" (Bloomberg Originals, The Circuit met Emily Chang, 6 december 2024) liet Lisa Su, toen tien jaar in functie, de Instinct MI300 zien terwijl die productie-AI-werk draaide, zoals GPT-4o op Microsoft Azure en Llama van Meta, noemde ze AI "de meest transformerende technologie" van haar carrière, en betoogde ze dat er "meer dan genoeg chips voor iedereen" waren, ook nu hyperscalers hun eigen chips ontwierpen. Chipverslaggever Ian King van Bloomberg vatte de positie van AMD samen als "een solide nummer twee". De twee jaar sindsdien hebben die positie op de proef gesteld.
Het kwartaalbericht van AMD over het derde kwartaal van 2026 meldt een totale omzet van $13,4 mrd, een recordomzet in Data Center van $8,5 mrd (plus 97% op jaarbasis), volumeleveringen van de MI450-serie, en Anthropic, Meta, Microsoft, OpenAI en Oracle Cloud Infrastructure die workloads draaien op de eerste Helios-racks. De verwachting voor het vierde kwartaal is ongeveer $17 mrd omzet. Hetzelfde bericht noemt ROCm 10, de eerste Helios-order van HPE (voor Vultr), en de keuze van EuroHPC voor Instinct MI430X-GPU's voor de LUMI-AI-supercomputer, wat belangrijk is voor Europese kopers die naar soevereine AI-capaciteit kijken.
2. De platforms van 2026, laag voor laag
| AMD Helios (gepubliceerde cijfers van AMD) | Waarde |
|---|---|
| GPU's per rack (één scale-updomein) | 72 × Instinct MI455X (CDNA 5) |
| Geheugen per GPU | 432 GB HBM4, tot 23,3 TB/s |
| Rekenkracht per GPU | tot 40 PF FP4 |
| Rekenkracht per rack | 2,9 EF FP4, 1,4 EF FP8 |
| Geheugen per rack | 31 TB HBM4, ongeveer 1,7 PB/s totaal |
| Scale-up- / scale-outbandbreedte | 260 TB/s (UALink over Ethernet) / 43 TB/s (3 × 800G NIC's per GPU) |
| Host-CPU | 6e generatie EPYC "Venice" (9006-serie) |
| Rackstandaard | Open Rack Wide, door Meta bijgedragen aan het Open Compute Project |
AMD positioneert Helios rechtstreeks tegenover de Vera Rubin NVL72 van NVIDIA en claimt ongeveer 15% meer AI-rekenkracht, 50% meer geheugen, 50% meer scale-outbandbreedte en tot 30% meer tokens per dollar. Dat zijn claims van de leverancier, door de leverancier gemeten; zie ze als reden om te benchmarken, niet als resultaat. Het geheugenverschil is het meest structureel: 432 GB per MI455X tegenover 288 GB per Rubin-GPU verandert hoeveel GPU's een groot model nodig heeft (sectie 4).
3. De Instinct-productlijnen die u tegenkomt
| Product | Geheugen | Waar het past |
|---|---|---|
| MI300X | 192 GB HBM3 | De generatie van 2024 uit het interview; nog steeds gangbaar in clouds en op de tweedehandsmarkt |
| MI325X | 256 GB HBM3E | MI300-platform met meer geheugen, servers met acht GPU's |
| MI350X / MI355X | 288 GB HBM3E | Generatie van 2025; servers met acht GPU's, lucht- of vloeistofgekoeld; de vergelijkingsbasis voor de MI455X |
| MI430X | zie AMD | HPC- en soevereine AI-systemen; gekozen voor LUMI-AI van EuroHPC |
| MI450X / MI455X | 432 GB HBM4 | Helios-systemen op rackschaal; frontier-training en inferentie op grote schaal |
| MI350P | zie AMD | Gebruikt in de Helion-referentiearchitectuur van AMD voor agentic systemen en in het Threadripper Halo Station-workstation |
De meeste Britse organisaties zullen Instinct tegenkomen als servers met acht GPU's van Dell, HPE, Lenovo of Supermicro, of als cloudinstances, in plaats van als volledige Helios-racks. Helios is voor hen indirect belangrijk: het maakt ROCm tot een volwaardig doelplatform voor de model- en frameworkontwikkelaars van wie zij afhankelijk zijn.
4. Geheugenberekening: waarom 432 GB het aantal GPU's verandert
Twee getallen bepalen hoeveel GPU's één kopie van een model nodig heeft: de gewichten, en de key-value-cache (KV-cache) die groeit met de contextlengte en het aantal gelijktijdige gebruikers.
weights (GB) ≈ parameters (billions) × bytes per parameter
FP16/BF16 = 2, FP8 = 1, FP4 = 0.5
KV cache per token = 2 × layers × kv_heads × head_dim × bytes per value
# Example: a 70B model with 80 layers, 8 KV heads, head_dim 128, FP16 KV cache
KV per token = 2 × 80 × 8 × 128 × 2 bytes = 327,680 bytes ≈ 0.31 MiB
KV per 32k sequence ≈ 10 GiB KV per 128k sequence ≈ 40 GiB
| Illustratief: 70B-model, FP8-gewichten (~70 GB), FP16-KV, 10% marge | GPU van 288 GB | GPU van 432 GB |
|---|---|---|
| Geheugen over voor de KV-cache | ~189 GB | ~319 GB |
| Gelijktijdige sequenties van 32k tokens per GPU | ~18 | ~30 |
| Gelijktijdige sequenties van 128k tokens per GPU | ~4 | ~7 |
| Model van ~400B parameters in FP8 (~400 GB gewichten) | heeft 2+ GPU's nodig | past op 1, met weinig ruimte voor KV |
Minder GPU's per modelkopie betekent minder tensor parallelism, minder verkeer tussen GPU's en meer onafhankelijke replica's uit hetzelfde rack. Of dat meer tokens per pond oplevert, hangt ook af van rekenkracht, interconnect en software-efficiëntie, en daarom is de benchmark in sectie 8 de beslissende stap. Onze pagina over private GPU-clouds heeft een VRAM-calculator die dezelfde berekening uitvoert.
5. De softwarekaart: van CUDA naar ROCm
| Doel | NVIDIA | AMD ROCm |
|---|---|---|
| Programmeermodel | CUDA | HIP (C++ in CUDA-stijl; compileert ook voor NVIDIA) |
| Dichte lineaire algebra | cuBLAS, cuBLASLt | hipBLAS, rocBLAS, hipBLASLt |
| Deep-learningprimitieven | cuDNN | MIOpen |
| Kerneltemplates | CUTLASS | Composable Kernel |
| Collectives over meerdere GPU's | NCCL | RCCL (NCCL-compatibele API) |
| Inferentiecompiler | TensorRT, TensorRT-LLM | MIGraphX; de meeste LLM-serving gebruikt in plaats daarvan vLLM of SGLang |
| Devicebeheer | nvidia-smi | amd-smi |
| Profiling | Nsight Systems / Compute | rocprofv3, ROCm Systems en Compute Profilers |
| Overdraagbare kernels | Triton (OpenAI), op beide ondersteund | |
| Frameworks en serving | PyTorch, JAX, vLLM, SGLang, Hugging Face: gepubliceerde builds voor beide | |
De praktische regel: als uw code op frameworkniveau blijft, is de overstap naar ROCm vooral een kwestie van de ROCm-build installeren. Het werk concentreert zich op drie plekken: eigen CUDA-kernels en C++-extensies, TensorRT-engines, en bibliotheken die alleen CUDA-binaries leveren.
6. Porteerworkflow
6.1 Controleer de node en het framework
# GPUs visible to the driver, and their architecture (gfx target)
amd-smi list
rocminfo | grep -m1 -i "gfx"
# PyTorch on ROCm keeps the torch.cuda API, so most code is unchanged
python -c "import torch; print(torch.version.hip, torch.cuda.is_available(), torch.cuda.get_device_name(0))"
6.2 Serveer een model in een ROCm-container
# AMD publishes ROCm images for PyTorch and vLLM; pick a tag matching your ROCm version
docker run --rm -it --ipc=host \
--device=/dev/kfd --device=/dev/dri --group-add video \
--security-opt seccomp=unconfined \
-p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface \
rocm/vllm:<tag> \
vllm serve <model> --tensor-parallel-size 2
Het OpenAI-compatibele endpoint is identiek aan het endpoint dat vLLM op NVIDIA aanbiedt, dus clients, gateways en tests veranderen niet.
6.3 Eigen kernels
# Mechanical CUDA → HIP translation, then build with the ROCm compiler
hipify-perl my_kernel.cu > my_kernel.hip.cpp # or hipify-clang for a full parse
hipcc -O3 --offload-arch=<gfx-target> -o my_kernel my_kernel.hip.cpp
Vertalen is het makkelijke deel. Aannames over warpgrootte (de CDNA-wavefronts van AMD zijn 64 lanes breed, NVIDIA-warps 32), met de hand getunede shared-memorylay-outs en inline PTX vereisen handmatige review. Waar een kernel toch al wordt herschreven, schrijft u hem één keer in Triton en draait u hem op beide leveranciers.
6.4 Valideer voordat u tunet
Draai een vaste evaluatieset met dezelfde gewichten en precisie op beide leveranciers. Vergelijk taakscores (en, voor kernels, logits of uitvoer binnen een vastgelegde tolerantie). Verschillende hardware geeft licht verschillende floating-pointresultaten; waar het om gaat, is dat de modelkwaliteit op uw taken onveranderd blijft. Tune pas daarna batchgroottes, parallellisme en servingparameters.
7. Eén Kubernetes-platform, twee leveranciers
Beide leveranciers stellen GPU's beschikbaar aan Kubernetes via een operator en een device plugin: nvidia.com/gpu op NVIDIA-nodes en amd.com/gpu op AMD-nodes, waarbij de GPU Operator van AMD de drivercomponenten, device plugin, node labeller en een metrics-exporter voor Prometheus installeert. Installeer hem met de Helm-chart van AMD volgens de actuele documentatie van de ROCm GPU Operator.
Houd één manifest per workload aan en een kleine overlay per leverancier die alleen de imagebuild (ROCm of CUDA) en de GPU-resource wijzigt. Met Kustomize:
# overlays/amd/kustomization.yaml (Workstation example)
resources: ["../../base"]
images:
- name: inference-server
newName: registry.example.com/inference-server
newTag: 2026.11-rocm
patches:
- target: {kind: Deployment, name: inference-server}
patch: |-
- op: replace
path: /spec/template/spec/containers/0/resources/limits
value: {"amd.com/gpu": 8}
- op: add
path: /spec/template/spec/nodeSelector
value: {"gpu-vendor": "amd"}
Label en taint elke nodepool op leverancier en generatie (bijvoorbeeld gpu-vendor=amd, gpu-model=mi355x) zodat schedulers en kostenrapportages ze kunnen onderscheiden, en draai bij elke wijziging dezelfde CI-tests tegen beide overlays.
8. Eerlijk benchmarken
- Hetzelfde model, dezelfde precisie, dezelfde serving-engine en -versie op beide leveranciers, met de door elke leverancier aanbevolen build en instellingen.
- Meet bij uw latentiedoel, niet bij piekdoorvoer: time to first token en inter-token latency bij het p95 dat uw gebruikers nodig hebben, en daarna de doorvoer op dat punt.
vllm bench servebelast een OpenAI-compatibel endpoint met realistische mixen van verzoeken. - Gebruik uw eigen verkeerspatroon: prompt- en uitvoerlengtes, gelijktijdigheid en het aandeel verzoeken met lange context.
- Reken om naar tokens per pond: hardware- of huurkosten per uur, plus stroom tegen uw tarief, gedeeld door tokens per uur bij het latentiedoel.
- Leg de nauwkeurigheid vast op uw evaluatieset, naast de snelheid.
- Controleer met onafhankelijke resultaten zoals MLPerf Inference, waar beide leveranciers vergelijkbare systemen inzenden.
9. Beslis per workload
| Workload | Neigt naar AMD wanneer | Neigt naar NVIDIA wanneer |
|---|---|---|
| LLM-inferentie, grote modellen of lange context | Het geheugen per GPU het aantal GPU's per replica verlaagt; serving met vLLM of SGLang | U afhankelijk bent van TensorRT-LLM of NVIDIA NIM-microservices |
| Training en finetuning in PyTorch | Standaard PyTorch, FSDP of DeepSpeed; geen eigen CUDA | Veel eigen kernels, Megatron-specifieke CUDA-paden, krappe deadlines |
| Vision, spraak en klassieke ML | Code op frameworkniveau, kostengevoelige inferentie | Bibliotheken met alleen CUDA-binaries (sommige video- en 3D-pipelines) |
| HPC en simulatie | FP64-intensieve code die al naar HIP is geporteerd; soevereine HPC-programma's | Commerciële solvers die alleen op CUDA draaien |
10. Operaties op dag twee
- Pin versies samen vast: driver, ROCm-release, frameworkbuild en containertag vormen één geteste set, precies zoals bij CUDA. Upgrade ze als set, achter de golden-settests.
- Monitoren:
amd-smitoont bezetting, geheugen, vermogen, temperatuur en fouttellers; de device metrics exporter van AMD publiceert ze naar Prometheus naast de DCGM-metrics van NVIDIA-nodes. Normaliseer labelnamen zodat één dashboard beide afdekt. - Gezondheid en RAS: alarmeer op ECC- en RAS-fouttellingen, thermische throttling en links die in snelheid terugvallen, en drain nodes automatisch bij herhaalde fouten.
- Vaardigheden: train ten minste twee engineers in ROCm-tooling vóór productie; de meeste problemen zijn versieconflicten, die snel zijn opgelost zodra iemand weet waar te kijken.
- Levering: houd beide leveranciers gekwalificeerd, zodat een levertijdprobleem bij de een geen project stillegt.
11. Risico's om eerlijk af te wegen
- Diepte van het ecosysteem: CUDA heeft nog steeds meer bibliotheken, voorbeelden en mensen. Controleer elke afhankelijkheid, niet alleen het framework.
- Claims van leveranciers: beide bedrijven publiceren gunstige vergelijkingen. Onafhankelijke en eigen metingen beslissen.
- Concentratie: beide leveranciers zijn afhankelijk van dezelfde geavanceerde productie in Taiwan, een punt dat Su zelf in het interview aanstipte toen ze over de veerkracht van de toeleveringsketen sprak. Twee leveranciers verkleinen het productrisico, niet het geografische risico.
- Marktmomentum snijdt aan twee kanten: de grote klantcommitments van AMD maken investeringen in ROCm duurzaam, maar concurreren ook met kleinere kopers om vroege levering.
12. Hoe Workstation kan helpen
Wij ontwerpen en beheren GPU-infrastructuur in het Verenigd Koninkrijk en helpen teams AMD naast NVIDIA te evalueren. Voor teams die Instinct overwegen, kunnen wij een gelijkwaardige benchmark van uw model op beide leveranciers uitvoeren, uw code beoordelen op CUDA-afhankelijkheden, een Kubernetes-platform voor twee leveranciers met gedeelde monitoring inrichten, en servers, stroom en koeling dimensioneren. Begin met onze gids over private GPU-clouds, vergelijk leasen en kopen op gpuleasing.co.uk, of neem contact met ons op.
Bronnen
- Bloomberg Originals, "AMD's CEO Wants to Chip Away at Nvidia's Lead | The Circuit with Emily Chang", 6 december 2024. Citaten komen uit de gepubliceerde video.
- AMD, "AMD Reports Third Quarter 2026 Financial Results", 3 november 2026 (omzet, groei Data Center, Helios-klanten, ROCm 10, LUMI-AI, vooruitzichten Q4).
- AMD, productpagina's van de Helios-oplossing op rackschaal en de Instinct MI400-serie, en "AMD Launches Helios" (2026): rack- en GPU-specificaties en de vergelijking van AMD met Vera Rubin NVL72.
- Overeenkomst tussen AMD en OpenAI voor 6 gigawatt aan Instinct-GPU's, aangekondigd op 6 oktober 2025.
- De geheugenberekening en porteercommando's zijn voorbeelden van Workstation; controleer modelconfiguraties en de actuele ROCm-documentatie voordat u erop vertrouwt.
Erkenning van rechten: AMD, het AMD Arrow-logo, Instinct, EPYC, Ryzen, Threadripper, CDNA, ROCm, Pensando, Helios en combinaties daarvan zijn handelsmerken van Advanced Micro Devices, Inc. NVIDIA, CUDA, NVLink, TensorRT, Spectrum-X, ConnectX en Vera Rubin zijn handelsmerken van NVIDIA Corporation. Bloomberg is een handelsmerk van Bloomberg Finance L.P. Andere namen zijn eigendom van hun respectieve eigenaren. Dit artikel is onafhankelijk en wordt door geen van deze bedrijven onderschreven.