Hopper · PCIe · 141 GB HBM3e
PCIe Hopper-GPU's met elk 141 GB HBM3e, gebrugd in groepen van twee of vier: inferentie met veel geheugen die past in bestaande luchtgekoelde racks.
Soms is de juiste AI-factory degene die u volgende maand in uw bestaande racks kunt installeren. H200 NVL brengt het grote, snelle HBM3e-geheugen van Hopper naar standaard PCIe-servers: 141 GB per GPU met 4,8 TB/s, op een luchtgekoelde dual-slotkaart die tot 600 W verbruikt.
Twee of vier kaarten kunnen met NVLink-bruggen worden verbonden met 900 GB/s per GPU, zodat een model dat groter is dan het geheugen van één kaart over een gebrugde groep kan worden verdeeld. NVIDIA geeft H200 NVL tot 1,7 keer de LLM-inferentieprestaties van H100 NVL, en NVIDIA AI Enterprise is bij de GPU inbegrepen.
Het is ook een verstandig platform wanneer software op Hopper is gevalideerd of de faciliteit de vermogensdichtheid van Blackwell uitsluit. Houd er rekening mee dat H200 NVL zwaar wordt toegewezen en dat de levertijden lang zijn.
141 GB per GPU biedt ruimte aan grote modellen en lange contexten die niet op kaarten van 48 GB of 80 GB zouden passen.
NVLink-bruggen met 900 GB/s per GPU laten een groep kaarten samen een model serveren zonder via PCIe te gaan.
NVIDIA-Certified- en MGX-servers met maximaal acht H200 NVL-GPU's, in normale luchtgekoelde racks.
Bij de GPU hoort een NVIDIA AI Enterprise-abonnement, zodat NIM-microservices en ondersteunde frameworks direct klaar zijn voor gebruik.
NVIDIA's gepubliceerde H200 NVL-cijfers en een typische server.
| GPU-geheugen | 141 GB HBM3e, 4.8 TB/s |
|---|---|
| FP8 Tensor Core | 3,341 TFLOPS (sparse) |
| FP16 / BF16 Tensor Core | 1,671 TFLOPS (sparse) |
| FP64 Tensor Core | 60 TFLOPS |
| Vermogen | Up to 600 W (configurable) |
| Interconnect | 2- or 4-way NVLink bridge at 900 GB/s per GPU; PCIe Gen5 at 128 GB/s |
| Partitionering | Up to 7 MIG instances of 16.5 GB |
| Server | Up to 8 GPUs per NVIDIA-Certified or MGX server |
De cijfers zijn de door NVIDIA gepubliceerde specificaties van het platform. Waar NVIDIA twee Tensor Core-waarden noemt, gaat de eerste uit van sparsity en is de tweede dense. De exacte opbouw (CPU's, geheugen, opslag, koeling, netwerk) wordt met u afgestemd en in een schriftelijke offerte bevestigd.
Na RTX PRO meestal het eenvoudigst te huisvesten platform.
| Vermogen | Up to 600 W per GPU plus host; an 8-GPU server sits well below HGX power levels |
|---|---|
| Koeling | Air cooled, dual-slot cards |
| Rack | Standard server racks |
Eén verantwoordelijk Brits team van dimensionering tot dagelijks beheer
We controleren welke modellen en contextlengtes passen per GPU en per gebrugde groep.
Bruggen, luchtstroom en stroomvoorziening gevalideerd in een gecertificeerde server.
NIM, vLLM of TensorRT-LLM, geconfigureerd en gebenchmarkt op uw modellen.
Ondersteuning in het VK, met NVIDIA AI Enterprise-ondersteuning daarachter.
NVIDIA-datacenter-GPU's worden toegewezen door NVIDIA en de serverfabrikanten, en levertijden worden eerder in maanden dan in weken gemeten. Complete, geteste systemen krijgen doorgaans eerder een toewijzing dan losse onderdelen, dus we offreren deze platforms als complete systemen. Zendingen buiten het VK, en veel geavanceerde GPU's ook binnen het VK, vereisen een eindgebruikers- en eindgebruikscontrole volgens Britse en Amerikaanse exportregels voordat we de levering kunnen bevestigen.
Trade-leden krijgen de tijd van onze engineers voor sourcing- en ontwerpvragen, vroege toegang tot voorraad en voorrang op wachtlijsten, en gratis technische support bij elke bestelling.
Voor nieuwbouw waar u Blackwell kunt huisvesten meestal niet. Het is zinvol wanneer luchtkoeling, vermogenslimieten of een op Hopper gevalideerde softwarestack Blackwell uitsluiten.
H200 NVL wordt beperkt toegewezen en de levertijden zijn lang, momenteel langer dan voor RTX PRO-kaarten. We bevestigen dit in een schriftelijke offerte na overleg met leveranciers.
Vertel ons wat het moet produceren, hoeveel mensen het gaan gebruiken en waar het zou komen te staan. Een engineer komt terug met een gedimensioneerd advies en een eerlijk oordeel over of bezit voor u zinvol is.