NVIDIA RTX PRO 6000 Blackwell Server Edition: één GPU voor AI, graphics en simulatie in een Britse serverruimte
Wat de RTX PRO 6000 Server Edition is, voor wie hij geschikt is, de 2U-, 4U- en rackbuilds met 32 GPU's, hoe hij zich verhoudt tot de L40S en hoe Workstation hem levert
De meeste bedrijven die private AI willen, hebben geen supercomputer nodig. Ze hebben een paar servers nodig die hun modellen, het 3D-werk van hun ontwerpers en hun simulaties draaien, in een rack dat ze al hebben, met een stroomverbruik dat hun gebouw kan leveren. De RTX PRO 6000 Blackwell Server Edition van NVIDIA is voor die taak gebouwd. Dit artikel legt uit wat het is, voor wie het geschikt is, welke drie systeemgroottes mensen kopen en wat u controleert voordat u bestelt.
Wat het is, in gewone taal
NVIDIA verkoopt twee soorten datacenter-GPU's. De eerste is de HGX-familie (B200, B300 en hun opvolgers): acht GPU's, verbonden via NVLink op één board, gebouwd voor het trainen van de grootste modellen. De tweede is een PCIe-kaart die in een gewone server past. De RTX PRO 6000 Blackwell Server Edition is de nieuwste en krachtigste van de tweede soort en neemt het stokje over van de L40S.
- 96 GB GDDR7-geheugen per GPU, met foutcorrectie. Het geheugen bepaalt hoe groot een model u kunt draaien en hoeveel mensen het tegelijk kunnen gebruiken. 96 GB is het dubbele van de L40S.
- Tensor Cores van de vijfde generatie met FP4. FP4 is een 4-bits getalformaat dat het geheugen van een model ruwweg halveert en de snelheid verdubbelt ten opzichte van FP8, voor modellen die bij die precisie hun nauwkeurigheid behouden. NVIDIA noemt tot 4 PFLOPS FP4 per kaart.
- Ook grafische hardware. 188 RT Cores voor ray tracing, vier video-encoders, vier decoders en vier DisplayPort 2.1-uitgangen. Dezelfde kaart die een chatbot bedient, kan een productvisualisatie renderen of een Omniverse-digital twin draaien.
- Eén GPU of vier. Multi-Instance GPU (MIG) splitst een kaart in maximaal vier geïsoleerde GPU's, elk met eigen geheugen en rekenkracht, zodat kleine taken en afzonderlijke teams geen hele kaart verspillen.
- Lucht- of vloeistofgekoeld. De luchtgekoelde kaart is een passieve, dual-slot kaart van volledige lengte die op de ventilatoren van de server leunt. Een vloeistofgekoelde single-slot-versie past bij compactere builds.
Waarom het ertoe doet voor een Brits bedrijf
Drie dingen maken het een praktische keuze voor bedrijven buiten de hyperscalers.
Hij past in de ruimte die u hebt. Een server met vier GPU's is 2U en verbruikt bij volledig GPU-vermogen ruwweg 3 tot 3,5 kW. Dat is haalbaar voor veel bestaande serverruimtes en colocatieracks, anders dan een HGX-systeem met acht GPU's dat voor één server vaak 10 kW of meer nodig heeft en soms vloeistofkoeling.
Hij bedient meer dan één team. Veel bedrijven kopen AI-hardware voor één project en zien die vervolgens stilstaan. Omdat de RTX PRO 6000 net zo goed is in graphics als in AI, kunnen dezelfde servers overdag inferentie voor klantenservice draaien en 's nachts rendering, simulatie of finetuning.
Uw data blijft op uw eigen locatie. Modellen op uw eigen hardware draaien houdt prompts, documenten en output binnen uw gebouw, wat het eenvoudiger maakt om aan de UK GDPR, cliëntvertrouwelijkheid en sectorregels te voldoen. Zodra de hardware is betaald, kost intensief dagelijks gebruik alleen stroom, zonder rekening per token.
Drie groottes, van een afdeling tot een datahal
| Systeem | GPU-geheugen | Typisch gebruik | Te plannen vermogen |
|---|---|---|---|
| 2U, vier GPU's | 384 GB | De private assistent van een afdeling, documentzoeken met RAG, een eerste productie-inferentiedienst | Ongeveer 3 tot 3,5 kW |
| 4U, acht GPU's (NVIDIA MGX) | 768 GB | Meerdere modellen tegelijk, grotere modellen, veel gelijktijdige gebruikers, een gedeelde render-node | Ongeveer 6 tot 7 kW |
| Een rack met 32 GPU's | Ongeveer 3 TB | Bedrijfsbrede inferentie, multi-agentsystemen, renderfarms, generatie van synthetische data | 25 tot 30 kW per rack |
De optie op rackschaal is het waard om nader te bekijken. AMAX, een Amerikaanse systeembouwer, verkoopt een ontwerp met de naam RackScale 32: 32 RTX PRO 6000 Server Edition-GPU's op dubbele AMD EPYC 9005-processors in NVIDIA MGX-servers, met NVIDIA Spectrum-X Ethernet of Quantum InfiniBand ertussen. Dat geeft ongeveer 3 TB GPU-geheugen en, volgens de piekcijfers van NVIDIA, 128 PFLOPS FP4 in één rack. AMAX positioneert het als bouwsteen voor een "AI-fabriek" die rack voor rack groeit. De bouwsteen daarbinnen is een 4U-MGX-server met acht GPU's, zoals de AceleMax AXG-428AG van AMAX, met ruimte voor vijf netwerkkaarten van 400 Gb/s en acht E1.S-schijven.
U hoeft niet bij een rack te beginnen. De meeste van onze klanten beginnen met één 2U- of 4U-server, bewijzen de workload en voegen daarna servers met dezelfde configuratie toe. Een consistente build maakt die groei eenvoudig.
RTX PRO 6000 of L40S?
Als u al L40S-servers draait, is de RTX PRO 6000 Server Edition de logische upgrade. Hij heeft tweemaal het geheugen, bijna tweemaal de bandbreedte (1.597 GB/s tegenover 864 GB/s), FP4, MIG en PCIe Gen 5. Een model dat twee L40S-kaarten nodig had, past vaak op één RTX PRO 6000, wat slots, stroom en licenties bespaart. De L40S blijft zinvol waar stroom krap is (350 W tegenover tot 600 W) of waar uw modellen ruim in 48 GB passen.
Wat hij niet doet
- Geen NVLink. De kaarten communiceren via PCIe. Dat is prima voor het draaien van veel kopieën van een model, of één model verdeeld over een paar GPU's. Grote trainingsruns waarbij GPU's voortdurend data moeten delen, horen op HGX-systemen.
- Piekcijfers zijn pieken. De FP4- en FP8-cijfers van NVIDIA zijn maxima. Uw doorvoer hangt af van het model, de precisie, de contextlengte en de software, dus we benchmarken uw workload voordat we de bestelling dimensioneren.
- 600 W is veel warmte. Acht kaarten op vol vermogen zijn bijna 5 kW aan GPU alleen. De stroomlimiet kan worden verlaagd, wat een beetje snelheid inruilt voor meer GPU's per rack.
Hoe Workstation hem levert
- Dimensioneren. We bepalen GPU-geheugen, gebruikers en opslag op basis van uw modellen, contextlengtes en verwacht verkeer, en kiezen het kleinste systeem dat de taak aankan.
- De locatie controleren. Stroom per rack, koeling, vloerbelasting, netwerk-uplinks en toegangsroutes, voordat we iets offreren.
- Offreren. Een schriftelijke offerte met de exacte configuratie, de levertijd en de stroom en koeling die nodig zijn. Prijzen voor deze systemen veranderen met de GPU-beschikbaarheid, dus we bevestigen ze schriftelijk in plaats van te gokken.
- Bouwen en testen. Besturingssysteem, NVIDIA-datacenterdrivers, CUDA, de container toolkit en uw inferentie- of renderstack, daarna een burn-in op volle belasting.
- Installeren en ondersteunen. We plaatsen het systeem in het rack, bekabelen het, dragen het over en ondersteunen het vanuit het VK, met de fabrieksgarantie achter de hardware.
Voor alle details, van formules voor geheugendimensionering en MIG tot PCIe-topologie, netwerk en een checklist voor uitrol, leest u onze technische gids voor de RTX PRO 6000 Blackwell Server Edition. De RTX PRO 6000-pagina bevat de volledige specificatie en de systemen die we leveren.
Bronnen
- NVIDIA: RTX PRO 6000 Blackwell Server Edition
- AMAX: RackScale 32 met NVIDIA RTX PRO 6000 Blackwell Server Edition
- AMAX: RTX PRO 6000 Blackwell Server Edition versus L40S
Handelsmerken. NVIDIA, het NVIDIA-logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X en Quantum zijn handelsmerken en/of geregistreerde handelsmerken van NVIDIA Corporation in de VS en andere landen. AMAX en AceleMax zijn handelsmerken van AMAX Engineering Corporation. AMD en EPYC zijn handelsmerken van Advanced Micro Devices, Inc. Alle andere handelsmerken zijn eigendom van hun respectieve eigenaren. Workstation is een onafhankelijke leverancier; er wordt geen goedkeuring door deze bedrijven gesuggereerd. De video is van NVIDIA.