Energie eerst: hoe Workstation AI-infrastructuur plant
Stroom, warmte en de ruimte komen vóór de GPU-bestelling. Zo dimensioneren wij een bureau, een rack of een hal.
De GPU's zijn de laatste beslissing. De voeding, de warmte en de vloer bepalen wat u kunt inschakelen. Workstation plant AI-infrastructuur in die volgorde: vind de stroom, ontwerp de koeling en koop daarna de machines die passen.
Zes voordelen van beginnen bij energie
- Sneller naar het eerste token. Het stroomontwerp en de machinelijst lopen samen op. U wacht geen twaalf weken op een server om dan te ontdekken dat de ruimte nog maar een vrije groep van 3 kW heeft. De AI-datacenterplanner vraagt naar de locatie voordat hij een niveau voorstelt.
- Schaal die bij het gebouw past. Dezelfde methode geldt voor een bureau, een teamserver, een rij racks of een hal. De kilowatts veranderen. De volgorde van de vragen niet.
- Een lagere rekening voor het werk dat u werkelijk draait. Een GPU die stilstaat heeft nog steeds kapitaalkosten, en een GPU die u niet van stroom kunt voorzien is alleen kapitaalkosten. Juist dimensioneren is hoe zowel de energieregel als de hardwareregel eerlijk blijven.
- Meer werk per watt, waar de hardware dat toelaat. Nieuwere systemen leveren meer tokens bij hetzelfde verbruik. NVIDIA publiceert die vergelijkingen. Wij gebruiken ze om een generatie te kiezen. We behandelen een piek-FLOPS-cijfer niet als uw elektriciteitsrekening.
- De locatie wordt gekozen op stroom, niet andersom. Een kantoor, een colocatiehal of grond met stroomaansluiting. Als het gebouw de belasting niet aankan, zeggen we dat vóór de bestelling.
- Een mix, afgestemd op de taak. Lucht waar de ruimte het aankan. Rear-door-warmtewisselaars waar de rij dicht bezet is. Directe vloeistofkoeling alleen wanneer het platform dat vereist. Op uw eigen vloer, in een hal, of als private GPU-cloud wanneer u de capaciteit nodig hebt zonder het onderstation te bouwen.
Indicatieve stroombanden
| Niveau | Indicatief vermogen | Wat er meestal past |
|---|---|---|
| Bureau | 0,3 tot 1 kW | Een DGX Spark of een Mac Studio voor een pilot |
| Team | 1,5 tot 3 kW | Eén of twee RTX PRO 6000-workstations, of een DGX Station |
| Rack | 6 tot 20 kW | GPU-servers in een rack dat u al hebt, met containment als de rij dicht bezet is |
| Pod | 40 tot 130 kW | Meerdere systemen met 8 GPU's, opslag en een fabric. Vaak een colocatiesuite, geen kast |
| Fabriek | 0,5 tot 5 MW | Systemen op rackschaal. Stroom, water en vloerbelasting zijn het project |
Deze bandbreedtes zijn planningsbanden, geen offerte en geen meting van uw gebouw. De planner gebruikt ze om te voorkomen dat een opdracht voor frontier-training op een bureau belandt, en dat een pilotopdracht uitgroeit tot een ontwerp van een megawatt.
De energieregel, één keer uitgerekend
NVIDIA geeft de luchtgekoelde DGX B300 een vermogen van ongeveer 14 kW. Een jaar lang op dat verbruik is de rekensom 14 kW maal 8.760 uur, oftewel 122.640 kWh vóór power usage effectiveness. PUE vermenigvuldigt de hele regel: als de hal bij de meter 1,3 kWh gebruikt voor elke 1 kWh aan IT-belasting, is het energieverbruik van de locatie ongeveer 159.000 kWh. Uw tarief, uw benutting en uw PUE veranderen de rekening. Een systeem dat gemiddeld de helft van dat verbruik heeft, kost ongeveer de helft aan energie.
Vier van die systemen in één rack is de dichtheid die de B300 SuperPOD-referentie van NVIDIA op ongeveer 56 kW zet. Veel bedrijfsruimtes zijn gebouwd voor een fractie daarvan. Het locatieonderzoek is waar dat feit een ontwerp wordt, of een reden om de workload te verplaatsen.
Koeling volgt de watts
- Lucht voor RTX PRO-servers en voor systemen met 8 GPU's wanneer de rij de warmte kan afvoeren. Een server met vier GPU's is een paar kilowatt. Een luchtgekoeld systeem met 8 GPU's van bijna 14 kW heeft high-density PDU's nodig en meestal containment.
- Rear-door-warmtewisselaars wanneer het luchtvolume van de ruimte de beperking is en het platform nog luchtgekoeld is.
- Directe vloeistofkoeling voor racks van de NVL72-klasse. De GPU's en CPU's zitten op koelplaten. Dat is een waterkring in het gebouw, koelmiddeldistributie en lekdetectie, geen extra ventilator.
We schrijven geen vloeistofkoeling voor om een diagram modern te laten lijken. We schrijven het voor wanneer het platform het vereist, of wanneer lucht de ruimte niet kan verlaten.
Hoe het adviestraject verloopt
- Onderzoek. Inkomende stroom, vrije capaciteit, vloerbelasting, de aanvoerroute voor een 10U-systeem op een pallet, de koeling die al in de ruimte aanwezig is en waar het netwerk binnenkomt.
- Stroombudget. Kilowatts per rack, PDU-indeling, UPS- en generatordekking en de marge die u op de voeding wilt overhouden.
- Keuze van koeling. Lucht, rear door of vloeistof, zo beschreven dat een verhuurder of colocatieprovider het kan ondertekenen.
- Inkoop binnen dat plafond. Nieuwe of refurbished NVIDIA- en AMD-GPU-servers, opslag en netwerk, alleen in aantallen die het stroombudget kan draaien. Systemen die alleen op offerte zijn, zoals HGX B200 en NVL72, blijven op offerte. Shopsystemen hebben live prijzen.
- Bouw, burn-in van 72 uur, oplevering. Het rack wordt onder belasting getest voordat u het in gebruik neemt. Eerst een NDA, voordat locatietekeningen of een kavellijst van eigenaar wisselen.
Voor operators en teams die hun eigen capaciteit bouwen, omvat die scope ook locatieverwerving: grond met stroomaansluiting, beschikbare megawatts of colocatie. Voor een bedrijf dat de GPU's wil zonder het onderstation, komt dezelfde dimensionering terecht in een private GPU-cloud. Eén gesprek dekt beide. Begin met de planner of spreek een engineer.
Wat we niet in een brochure zetten
- Een belofte van elektriciteit onder het markttarief. Wij plannen de belasting. We verkopen u geen tarief dat we niet hebben geprijsd.
- Een megawattcampus in een vast aantal weken. De levertijd volgt het werk op de locatie. De fabrieksband van de planner is ter indicatie 16 tot 40 weken, en een onderzoek kan dat verschuiven.
- Een groenestroomcertificaat gepresenteerd alsof Workstation de stroom had opgewekt. Als u een duurzame match nodig hebt, is dat een leveringscontract met uw energieleverancier, los van de hardware benoemd.
- Piekprestaties behandeld als gemeten energiebesparing. De cijfers van NVIDIA voor doorvoer per megawatt zijn die van NVIDIA. Uw workload bepaalt wat u krijgt.
Bronnen
- Workstation: AI-datacenterplanner
- Workstation: gids voor NVIDIA AI-datacenters, inclusief het voorbeeld van 14 kW en de energieregel voor kosten per token
- Workstation-shop: NVIDIA DGX B300 (prijs en levertijd op offerte)
- NVIDIA: DGX B300
Handelsmerken. NVIDIA, DGX en NVL72 zijn handelsmerken van NVIDIA Corporation. AMD is een handelsmerk van Advanced Micro Devices, Inc. De stroombanden zijn planningsbandbreedtes van Workstation. Het cijfer van 14 kW is de systeemspecificatie van NVIDIA voor DGX B300, hier gebruikt als voorbeeld, niet als meting van een klantlocatie.