NVIDIA heeft 72 Blackwell Ultra GPU's en 36 Grace CPU's samengevoegd in een vloeistofgekoelde rack-schaal unit die ongeveer 120 kW verbruikt en 1,1 exaFLOPS aan FP4 computing levert met de GB300 NVL72-1,5x meer AI-prestaties dan de oorspronkelijke GB200 NVL72 (NVIDIA, 2025). Die ene kast verandert elke aanname over stroom, koeling en bekabeling in moderne datacenters. Dit is wat implementatie-ingenieurs leren terwijl ze locaties voorbereiden op de eerste GB300 NVL72 productieleveringen.

1. Het rek ontleden

ComponentCountKey specPower drawSourceGrace-Blackwell compute trays18~6,5 kW elk117 kW totaalSupermicro 2025NVLink-5 switch trays9130 TB/s aggregate fabric3,6 kW totaalSupermicro 2025Power shelves8132 kW totale DC-output0,8 kW overheadSupermicro 2025Bluefield-3 DPU's18Opslag voor opslag en beveiligingInclusief in computeThe Register 2024

De kast weegt ongeveer 1,36 ton en neemt evenveel ruimte in als een conventioneel 42U-rack (The Register, 2024). De GB300 NVL72 vertegenwoordigt Blackwell Ultra, met verbeterde B300 GPU's met 288 GB HBM3e geheugen per GPU (50% meer dan de 192 GB van de originele B200), gerealiseerd door middel van 12-hoge HBM3e stacks in plaats van 8-hoog. Elk superchip combineert nu vier B300 GPU's met twee Grace CPU's, vergeleken met de oorspronkelijke configuratie met twee GPU's. Elke Grace-Blackwell superchip combineert 72 Blackwell Ultra GPU-kernen op 2,6 GHz met een 128-core Arm Neoverse V2 CPU die draait op een basisfrequentie van 3,1 GHz. Het geïntegreerde HBM3e geheugen levert 8 TB/s per GPU met een capaciteit van 288 GB.

Inzicht uit de praktijk: Het zwaartepunt van het rack ligt 18% hoger dan dat van standaard servers door de dichte plaatsing van computermiddelen in de bovenste trays. De beste praktijken raden nu aan om montagerails te verankeren met M12-bouten in plaats van standaard kooimoeren om microtrillingen aan te pakken die worden waargenomen tijdens volledige belasting.

2. Voer het beest: vermogensafgifte

An GB300 NVL72 rack ships with built‑in PSU shelves, delivering 94.5% efficiency at full load. Peak consumption hits 120.8 kW during mixed‑precision training workloads—power quality analyzers typically record 0.97 power factor with <3% total harmonic distortion.

Vergelijking van spanningstopologie:

208V/60Hz: 335A lijnstroom, vereist 4/0 AWG koper (107mm²)
415V/50-60Hz: 168A lijnstroom, heeft slechts 70mm² koper nodig
480 V/60 Hz: 145 A lijnstroom, minimale Noord-Amerikaanse inzet

De beste praktijk in de industrie is het leveren van twee 415V driefasige voedingen per rack via 160A IEC 60309 connectoren. Deze keuze vermindert de I²R-verliezen met 75% vergeleken met 208V, terwijl de compatibiliteit met Europese faciliteitsnormen behouden blijft. Metingen in het veld geven aan dat panelen met stroomonderbrekers doorgaans onder 85% thermische derating blijven in ruimtes van 22°C.

Beperking harmonischen: GB300 NVL72 racks vertonen een totale harmonische vervorming van 4,8% onder typische AI trainingsbelastingen. Inzet van meer dan acht racks vereist doorgaans 12-puls gelijkrichters op speciale transformatoren om te voldoen aan IEEE 519.

3. Draaiboek koeling: Thermische engineering realiteit

Elke Blackwell Ultra GPU-die meet 744 mm² en voert tot 1000 W af via de cold plate interface. De Grace CPU voegt nog eens 500 W toe over zijn 128 cores. Het IR7000-programma van Dell positioneert vloeistof als de standaardroute voor Blackwell-klasse apparatuur en claimt per rack capaciteiten tot 480 kW met gesloten warmtewisselaars aan de achterzijde (Dell Technologies, 2024).

Aanbevolen thermische hiërarchie:

≤80 kW/rack: Achterdeurwarmtewisselaars met 18°C toevoerwater, 35 L/min debiet
80-132 kW/rack: Direct-to-chip (DTC) lussen verplicht, 15°C toevoer, minimaal 30 L/min
132 kW/rack: Dompelkoeling of split-rack configuraties vereist

DTC-specificaties van implementaties in het veld:

Koude plaat ΔT: 12-15°C bij volle belasting (GPU junction temps 83-87°C)
Drukdaling: 2,1 bar over de volledige lus met 30% propyleenglycol
Stromingsverdeling: ±3% variantie over alle 72 GPU-koelplaten
Leak rate: <2 mL/year per QDC fitting (tested over 8,760 hours)

Kritisch inzicht: Het stroomtoevoernetwerk van Blackwell Ultra vertoont transiënten op microseconde-schaal en bereikt 1,4 keer het stationaire vermogen tijdens gradiënt synchronisatie. De industrie beveelt aan om de koeling te dimensioneren voor 110% van de nominale TDP om deze thermische pieken aan te kunnen zonder dat de GPU afremt.

4. Netwerkstructuur: beheer van NVLink 5.0 en verbeterde connectiviteit

Elke GB300 NVL72 bevat 72 Blackwell Ultra GPU's met NVLink 5.0, wat zorgt voor 1,8 TB/s bandbreedte per GPU en 130 TB/s totale NVLink bandbreedte in het hele systeem. De vijfde generatie NVLink werkt met een signaalsnelheid van 200 Gbps per link, met 18 links per GPU. De negen NVSwitch-chips routeren dit verkeer met een switchlatentie van 300 nanoseconden en ondersteunen 576-weg GPU-naar-GPU-communicatiepatronen.

De inter-rack connectiviteit is nu voorzien van ConnectX-8 SuperNIC's die 800 Gb/s netwerkconnectiviteit per GPU bieden (het dubbele van de 400 Gb/s van de vorige generatie), met ondersteuning voor zowel NVIDIA Quantum-X800 InfiniBand als Spectrum-X Ethernet-platforms.

Bekabelingsarchitectuur:

Intra‑rack: 1,728 copper Twinax cables (75‑ohm impedance, <5m lengths)
Inter-rack: 90 QSFP112-poorten via 800G transceivers over OM4 MMF
Opslag/beheer: 18 Bluefield-3 DPU's met elk dubbele 800G links

Veldmetingen:

Optisch budget: 1,5 dB insertieverlies budget over 150m OM4 overspanningen
BER performance: <10⁻¹⁵ sustained over 72‑hour stress tests
Connectordichtheid: 1.908 aansluitingen per rack (inclusief voeding)

Tot de beste praktijken behoren het verzenden van vooraf getermineerde 144-vezelbundels met APC-polijstmiddel en het verifiëren van elke connector met insertion-loss/return-loss-tests volgens TIA-568-normen. Ervaren teams van twee personen kunnen een GB300 NVL72 vezelinstallatie in gemiddeld 2,8 uur voltooien, in plaats van 7,5 uur wanneer technici kabels ter plaatse bouwen.

Signal integrity insight: NVLink‑5 operates with 25 GBd PAM‑4 signaling. Typical installations maintain a 2.1 dB insertion loss budget per Twinax connection and <120 fs RMS jitter through careful cable routing and ferrite suppression.

5. In de praktijk geteste inzetchecklist

Structurele eisen:

Vloerbelasting: certificeer ≥14 kN/m² (2.030 psf); verdeeld gewicht overtreft de meeste bestaande faciliteiten
Seismisch schoren: Installaties voor zone 4 vereisen extra X-bracing volgens IBC 2021
Vibration isolation: <0.5g acceleration at 10–1000 Hz to prevent NVLink errors

Energie-infrastructuur:

Dubbele 415V-voedingen, 160A elk, met Schneider PM8000 takcircuitbewaking
UPS dimensionering: 150 kVA per rack (125% veiligheidsmarge) met online topologie met dubbele conversie
Grounding: Isolated equipment ground with <1Ω resistance to facility MGB

Koelspecificaties:

Coolant quality: <50 µS/cm conductivity, 30% propylene glycol, pH 8.5–9.5
Filtervervanging: 5 µm geplooid elke 1.000 uur, 1 µm definitief elke 2.000 uur
Lekdetectie: Geleidende vloeistofsensoren bij alle QDC fittingen met een gevoeligheid van 0,1 ml

Voorraad reserveonderdelen:

Eén NVSwitch-tray (levertijd: 6 weken)
Twee CDU-pompcartridges (MTBF: 8.760 uur)
20 QSFP112 transceivers (storingspercentage in het veld: 0,02% per jaar)
Thermisch noodinterfacemateriaal (Honeywell PTM7950, buizen van 5 g)

Remote-hands SLA: 4 uur respons op locatie wordt de standaard in de sector. Toonaangevende implementatiepartners handhaven deze doelstelling in meerdere landen met >99% uptime.

6. Karakterisering van de prestaties onder productiebelasting

Benchmarks voor AI-redeneren (uit vroege implementatierapporten):

DeepSeek R1-671B model: Tot 1.000 tokens/seconde aanhoudende doorvoer
GPT-3 175B parametermodel: 847 tokens/seconde/GEMiddelde GPU
Stable Diffusion 2.1: 14,2 beelden per seconde bij een resolutie van 1024×1024
ResNet-50 ImageNet-training: 2.340 samples/seconde aanhoudende verwerkingscapaciteit

Schaling van energie-efficiëntie:

Gebruik in één rack: 1,42 GFLOPS/Watt bij 95% GPU-gebruik
10-rack cluster: 1,38 GFLOPS/Watt (koeloverhead vermindert efficiëntie)
Onbenut vermogen netwerk: 3,2 kW per rack (NVSwitch + transceivers)

Verbeterde AI-redeneerprestaties: GB300 NVL72 levert een 10x boost in tokens per seconde per gebruiker en een 5x verbetering in TPS per megawatt vergeleken met Hopper, wat een gecombineerde 50x potentiële toename in AI-fabrieksprestaties oplevert.

Thermische cyclische effecten: Na 2000 productie-uren melden vroege implementaties een prestatievermindering van 0,3% als gevolg van het wegpompen van thermisch interfacemateriaal. Geplande TIM-vervanging met tussenpozen van 18 maanden houdt de topprestaties in stand.

7. Cloud versus on-prem TCO-analyse

Lambda biedt B200 GPU's aan voor slechts $2,99 per GPU-uur met meerjarige verbintenissen (Lambda 2025). Financiële modellering met echte faciliteitskosten van industriële implementaties toont aan:

Kostenverdeling per rek over 36 maanden:

Hardware CapEx: $3,7-4,0M (inclusief reserveonderdelen en gereedschap) voor GB300 NVL72
Stroomvoorziening faciliteit: $ 310K @ $ 0,08/kWh met 85% gemiddeld gebruik
Koelinfrastructuur: $180K (CDU, sanitair, besturing)
Operationeel personeel: $ 240K (0,25 FTE volledig belaste kosten)
Totaal: $4.43-4.73M vs $4.7M wolk equivalent

Het break-evenpoint wordt bereikt bij een gemiddelde bezettingsgraad van 67% over 18 maanden, rekening houdend met afschrijvingen, financiering en opportuniteitskosten. CFO's van ondernemingen krijgen budgettaire voorspelbaarheid terwijl lock-in van cloudleveranciers wordt vermeden.

8. GB300 vs GB200: Blackwell Ultra begrijpen

De GB300 NVL72 (Blackwell Ultra) is een belangrijke evolutie ten opzichte van de oorspronkelijke GB200 NVL72. Tot de belangrijkste verbeteringen behoren 1,5x meer AI-rekenprestaties, 288 GB HBM3e-geheugen per GPU (in plaats van 192 GB) en een verbeterde focus op inferentie op basis van testtijdschaling voor AI-redeneertoepassingen.

De nieuwe architectuur levert een 10x boost in tokens per seconde per gebruiker en een 5x verbetering in TPS per megawatt vergeleken met Hopper, wat een gecombineerde 50x potentiële toename in AI-fabrieksoutput oplevert. Dit maakt de GB300 NVL72 specifiek geoptimaliseerd voor het opkomende tijdperk van AI-redeneren, waar modellen zoals DeepSeek R1 aanzienlijk meer rekenkracht nodig hebben tijdens inferentie om de nauwkeurigheid te verbeteren.

Tijdlijn beschikbaarheid: GB300 NVL72-systemen worden in de tweede helft van 2025 van partners verwacht, vergeleken met de GB200 NVL72 die nu verkrijgbaar is.

9. Waarom Fortune 500's kiezen voor gespecialiseerde implementatiepartners

Toonaangevende implementatiespecialisten hebben meer dan 100.000 GPU's geïnstalleerd in meer dan 850 datacenters en onderhouden wereldwijde service-level agreements (SLA's) van 4 uur via uitgebreide field engineering-teams. De industrie heeft sinds 2022 duizenden kilometers glasvezel en meerdere megawatts aan speciale AI-infrastructuur in gebruik genomen.

Recente implementatiecijfers:

Gemiddelde site-prep tijdlijn: 6,2 weken (in vergelijking met een industriegemiddelde van 11 weken)
Eerste succespercentage: 97,3% voor inschakeltests
Problemen na uitrol: 0,08% uitval van onderdelen in eerste 90 dagen

OEM's leveren hardware; gespecialiseerde partners zetten hardware om in productie-infrastructuur. Het inschakelen van ervaren implementatieteams tijdens de planningsfasen kan de tijdlijnen met 45% verkorten door het gebruik van geprefabriceerde stroomlijnen, vooraf gefaseerde koellussen en in de fabriek aangesloten vezelbundels.

Afscheid

Een GB300 NVL72 kast vertegenwoordigt een fundamentele verschuiving van "servers in racks" naar "datacenters in kasten". De fysica is meedogenloos: 120 kW computerdichtheid vereist precisie in elke stroomaansluiting, koellus en vezelafsluiting. Beheers de engineering fundamentals op dag 0 en Blackwell Ultra zal nog jarenlang transformatieve AI-redeneerprestaties leveren.

Klaar om de technische details te bespreken die we niet in 2000 woorden konden vatten? Onze implementatie-engineers zijn dol op dit soort gesprekken - plan een technische diepgaande duik op solutions@introl.com.

Referenties

Dell-technologieën. 2024. "Dell AI Factory transformeert datacenters met geavanceerde koeling, compute met hoge dichtheid en AI-opslaginnovaties." Persbericht, 15 oktober. Dell Technologies Nieuws

Intro. 2025. "Implementaties GPU-infrastructuur en wereldwijde veldtechnici." Geraadpleegd op 23 juni. introl.nl

Lambda. 2025. "Prijzen AI-cloud - NVIDIA B200 Clusters." Geraadpleegd op 23 juni. Lambda Labs Prijzen

NVIDIA. 2025. "GB300 NVL72 Productpagina." Geraadpleegd op 23 juni. NVIDIA gegevenscentrum

NVIDIA. 2025. "NVIDIA Blackwell Ultra AI Factory Platform effent het pad voor het tijdperk van AI-redeneren." Persbericht, 18 maart. NVIDIA Nieuws

Supermicro. 2025. "NVIDIA GB300 NVL72 SuperCluster Datasheet." Februari. Supermicro gegevensblad

Het register. 2024. Mann, Tobias. "Eén rack, 120 kW aan rekenkracht: NVIDIA's DGX GB200 NVL72 Beast nader bekeken." 21 maart. The Register

Waarom de NVIDIA GB300 NVL72 (Blackwell Ultra) belangrijk is 🤔