Grace Blackwell Ultra · 72 顆 GPU · 單一 NVLink 域
72 顆 Blackwell Ultra GPU 與 36 顆 Grace CPU 結合為單一液冷 NVLink 域：一個機櫃，運作起來就像一顆龐大的 GPU。
在一般的 GPU 伺服器中，八顆 GPU 共用高速 NVLink，其餘一切則透過網路溝通。GB300 NVL72 消除了這道界線。其 NVLink Switch 骨幹將機櫃內全部 72 顆 Blackwell Ultra GPU 連成單一域，頻寬達 130 TB/s，讓模型可以橫跨整個機櫃，如同單一加速器般運作。
這對最艱鉅的 AI 工作最為重要：超大型混合專家模型、長上下文推理，以及以低延遲服務數千名使用者。NVIDIA 宣稱，每位使用者的回應速度最高提升 10 倍，每兆瓦吞吐量為 Hopper 的 5 倍，使 AI 工廠產出最高提升 50 倍。
這同時也是一項設施專案。整個機架採全液冷，耗電遠超過 100 kW，因此機房大廳、冷卻液迴路與電力饋線都必須在設備抵達前準備就緒。我們就從這項規劃開始。
每一顆 GPU 都能以完整 NVLink 速度連接到其他每一顆 GPU。張量並行與專家並行都留在機櫃內，而不必跨越網路，而這正是大型模型通常損失時間的地方。
GB300 的注意力運算效能是 Blackwell 的 2 倍，密集 FP4 吞吐量是 1.5 倍，專為每個請求都會產生長推理鏈的推理模型而打造。
GPU 上有 20 TB 的 HBM3e，Grace CPU 上另有 17 TB 的 LPDDR5X，兩者以一致性方式連接，使龐大的鍵值快取與模型都能留在記憶體中。
我們與您的設施團隊一起規劃冷卻液分配單元、二次迴路、水質、漏液偵測與維護制度，而不是繞過他們。
NVIDIA 公布的機櫃數據。
| 配置 | 72 NVIDIA Blackwell Ultra GPUs, 36 NVIDIA Grace CPUs (2,592 Arm Neoverse V2 cores) |
|---|---|
| GPU 視訊記憶體 | 20 TB HBM3e, up to 576 TB/s |
| CPU 記憶體 | 17 TB LPDDR5X, 14 TB/s |
| NVLink | 130 TB/s across the rack |
| FP4 Tensor Core | 1,440 | 1,080 PFLOPS |
| FP8 / FP16 Tensor Core | 720 / 360 PFLOPS (sparse) |
| 網路 | ConnectX-8 SuperNICs, 800 Gb/s per GPU, on Quantum-X800 InfiniBand or Spectrum-X Ethernet |
| 冷卻 | Fully liquid cooled, rack-scale |
| 軟體 | NVIDIA AI Enterprise, Dynamo and NIM for inference, Mission Control for operations |
數據為 NVIDIA 公布的平台規格。若 NVIDIA 列出兩個 Tensor Core 數值，第一個為採用稀疏性的數值，第二個為密集運算數值。確切的配置（CPU、記憶體、儲存、散熱、網路）將與您議定，並以書面報價確認。
GB300 NVL72 是一項資料中心工程專案。以下是我們會先與您一起釐清的問題。
| 功耗 | Well over 100 kW per rack; we confirm the exact figure for your configuration |
|---|---|
| 冷卻 | Direct liquid cooling with a coolant distribution unit and facility water supply |
| 地板 | A fully populated rack weighs well over a tonne: floor loading and access routes are checked |
| 網路 | Spine capacity for 72 × 800 Gb/s per rack, plus storage and management networks |
| 託管 | Few UK halls can take this density today; we can shortlist colocation sites that can |
從規模評估到日常營運，由單一負責的英國團隊全程負責
與您的設施團隊或主機代管供應商共同設計電力、冷卻迴路、地板與光纖。
機櫃級交付、定位、冷卻液調試與開機，必要時與供應商協同進行。
正式工作負載上線前的 NVLink、網路架構與散熱驗收測試。
上線後由 Mission Control、監控、韌體生命週期管理與 SysOps247 提供支援。
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨，交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨，因此我們以完整系統形式報價這些平台。出貨至英國境外，以及英國境內許多先進 GPU，須先依英國與美國出口規定進行最終使用者與最終用途審查，我們才能確認供貨。
它在一個機櫃中包含 18 個運算托盤與 9 個 NVLink 交換器托盤。對您的軟體而言，72 顆 GPU 構成單一 NVLink 域，因此框架可將整個機櫃視為一顆超大型加速器。
只有在機房能為單一機櫃提供遠超過 100 kW 的電力，且具備液冷基礎設施時才適合。多數客戶會將其放在專業託管機房。我們的場址勘查能及早解答這個問題。
DGX GB300 是 NVIDIA 自家版本的機櫃，附 NVIDIA 的軟體與支援方案。合作夥伴的 GB300 NVL72 系統則採用相同架構，由其他伺服器廠商製造。兩者我們都能供應，並為您說明各自的取捨。