Grace Blackwell Ultra · 72 GPU's · één NVLink-domein
72 Blackwell Ultra-GPU's en 36 Grace-CPU's samengebracht in één vloeistofgekoeld NVLink-domein: één rack dat zich gedraagt als één enorme GPU.
In een gewone GPU-server delen acht GPU's snelle NVLink en communiceert al het andere via het netwerk. GB300 NVL72 haalt die grens weg. De NVLink Switch-spine verbindt alle 72 Blackwell Ultra-GPU's in het rack tot één domein met 130 TB/s bandbreedte, zodat een model over het hele rack kan worden verdeeld alsof het één accelerator is.
Dat telt het zwaarst bij het zwaarste AI-werk: zeer grote mixture-of-experts-modellen, reasoning met lange context en het bedienen van duizenden gebruikers met lage latency. NVIDIA noemt tot 10 keer betere responsiviteit per gebruiker en 5 keer meer doorvoer per megawatt dan Hopper, samen tot een 50-voudige toename van de output van de AI-fabriek.
Het is ook een facilitair project. Het rack is volledig vloeistofgekoeld en verbruikt ruim meer dan 100 kW, dus de hal, het koelcircuit en de stroomvoeding moeten klaar zijn voordat het aankomt. Daar beginnen we met plannen.
Elke GPU bereikt elke andere op volle NVLink-snelheid. Tensor- en expertparallellisme blijven binnen het rack in plaats van over het netwerk te gaan, waar grote modellen meestal tijd verliezen.
Met tweemaal de attention-prestaties van Blackwell en 1,5 keer de dense FP4-doorvoer is GB300 gebouwd voor reasoning-modellen die voor elk verzoek lange gedachteketens genereren.
20 TB HBM3e op de GPU's plus 17 TB LPDDR5X op de Grace-CPU's, coherent verbonden, zodat enorme key-value-caches en modellen in het geheugen blijven.
We plannen de coolant distribution unit, het secundaire circuit, de waterkwaliteit, lekdetectie en het onderhoudsregime samen met uw facilitaire team, niet buiten hen om.
Door NVIDIA gepubliceerde cijfers voor het rack.
| Configuratie | 72 NVIDIA Blackwell Ultra GPUs, 36 NVIDIA Grace CPUs (2,592 Arm Neoverse V2 cores) |
|---|---|
| GPU-geheugen | 20 TB HBM3e, up to 576 TB/s |
| CPU-geheugen | 17 TB LPDDR5X, 14 TB/s |
| NVLink | 130 TB/s across the rack |
| FP4 Tensor Core | 1,440 | 1,080 PFLOPS |
| FP8 / FP16 Tensor Core | 720 / 360 PFLOPS (sparse) |
| Netwerken | ConnectX-8 SuperNICs, 800 Gb/s per GPU, on Quantum-X800 InfiniBand or Spectrum-X Ethernet |
| Koeling | Fully liquid cooled, rack-scale |
| Software | NVIDIA AI Enterprise, Dynamo and NIM for inference, Mission Control for operations |
De cijfers zijn de door NVIDIA gepubliceerde specificaties van het platform. Waar NVIDIA twee Tensor Core-waarden noemt, gaat de eerste uit van sparsity en is de tweede dense. De exacte opbouw (CPU's, geheugen, opslag, koeling, netwerk) wordt met u afgestemd en in een schriftelijke offerte bevestigd.
GB300 NVL72 is een engineeringproject voor het datacenter. Dit zijn de vragen die we eerst samen met u beantwoorden.
| Vermogen | Well over 100 kW per rack; we confirm the exact figure for your configuration |
|---|---|
| Koeling | Direct liquid cooling with a coolant distribution unit and facility water supply |
| Vloer | A fully populated rack weighs well over a tonne: floor loading and access routes are checked |
| Netwerk | Spine capacity for 72 × 800 Gb/s per rack, plus storage and management networks |
| Hosting | Few UK halls can take this density today; we can shortlist colocation sites that can |
Eén verantwoordelijk Brits team van dimensionering tot dagelijks beheer
Stroom, koelcircuit, vloer en glasvezel, ontworpen met uw facilitaire team of colocatieprovider.
Levering op rackniveau, positionering, inbedrijfstelling van de koelvloeistof en inschakelen, waar nodig samen met de leverancier.
NVLink-, fabric- en thermische acceptatietests vóór productieworkloads.
Mission Control, monitoring, firmwarelevenscyclus en SysOps247-dekking zodra het live is.
NVIDIA-datacenter-GPU's worden toegewezen door NVIDIA en de serverfabrikanten, en levertijden worden eerder in maanden dan in weken gemeten. Complete, geteste systemen krijgen doorgaans eerder een toewijzing dan losse onderdelen, dus we offreren deze platforms als complete systemen. Zendingen buiten het VK, en veel geavanceerde GPU's ook binnen het VK, vereisen een eindgebruikers- en eindgebruikscontrole volgens Britse en Amerikaanse exportregels voordat we de levering kunnen bevestigen.
Trade-leden krijgen de tijd van onze engineers voor sourcing- en ontwerpvragen, vroege toegang tot voorraad en voorrang op wachtlijsten, en gratis technische support bij elke bestelling.
Het bestaat uit 18 compute-trays en 9 NVLink-switchtrays in één rack. Voor uw software vormen de 72 GPU's één NVLink-domein, zodat frameworks het rack als één zeer grote accelerator kunnen behandelen.
Alleen als de ruimte ruim meer dan 100 kW aan één rack kan leveren en infrastructuur voor vloeistofkoeling heeft. De meeste klanten plaatsen het in een gespecialiseerde colocatiehal. Onze locatie-inspectie beantwoordt die vraag vroeg.
DGX GB300 is NVIDIA's eigen versie van het rack, met NVIDIA's software- en supportpakket. GB300 NVL72-systemen van partners gebruiken dezelfde architectuur van andere serverfabrikanten. We kunnen beide leveren en de afwegingen toelichten.
Vertel ons wat het moet produceren, hoeveel mensen het gaan gebruiken en waar het zou komen te staan. Een engineer komt terug met een gedimensioneerd advies en een eerlijk oordeel over of bezit voor u zinvol is.