為各類數據中心提供出...
NVIDIA 在 NVIDIA GTC 2024 上發布其下一代基于 Blackwell 的 GPU，標志著 AI 技術取得了關鍵突破。
隨著人工智能和機器學習領域繼續以驚人的速度發展，NVIDIA 的最新創新——Blackwell 架構，將以無與倫比的并行計算能力重新定義AI和HPC。
NVIDIA 展示了一系列新技術，有望以前所未有的方式加速 AI 訓練和推理。他們推出了 Blackwell GPU、GB200 Super Chip 和GB200 NVL72。每一個都代表著突破性的創新。
在本文中，我們將深入分析 NVIDIA 的 Blackwell 架構。它對于高性能計算意味著什么？它如何改進 Hopper 架構？然后，我們將逐一介紹每款新產品。
Blackwell vs Hopper
Blackwell 架構以大衛·布萊克威爾，受人尊敬的數學家和統計學家。布萊克威爾在博弈論和統計學方面的開創性工作和貢獻在該領域留下了不可磨滅的印記，使他的名字成為數學科學創新和卓越的代名詞。這一致敬反映了新平臺的開創性和先進的計算能力。
NVIDIA 的 Blackwell 架構將擁有迄今為止最大的芯片，擁有 1040 億個晶體管。Blackwell GPU（B100 和 B200）采用雙芯片組設計，與 Hopper 相比有了重大飛躍。例如，B100 的晶體管數量比 H100 多 1280 億個，AI 性能是 H100 的五倍。
NVIDIA 的 Blackwell GPU 包含 2080 億個晶體管，采用定制的 TSMC 4NP 工藝制造。所有 Blackwell 產品都采用兩個光罩限制芯片，通過每秒 10 兆兆字節 (TB/s) 連接芯片間互連在統一的單個 GPU 中。
Blackwell 架構通過以下方式提供更佳的性能：
FP8性能： Blackwell架構在FP8精度下提供20 PetaFLOPS（PFLOPS）的性能，是Hopper架構性能的2.5倍。
FP6 性能：與 FP8 一樣，Blackwell 架構上的 FP6 性能也是 20 PFLOPS，比 Hopper 架構提高了 2.5 倍。
FP4 性能：這是一個重大飛躍，Blackwell 在新的 FP4 指標中提供了 40 PFLOPS，是 Hopper 性能的五倍。這表明它非常重視提高低精度計算的性能，這對于 AI 推理至關重要。
HBM 模型大小： NVIDIA 的 Blackwell 架構支持高達 7400 億個參數的模型，這是 Hopper 架構所能管理的模型的六倍。這一大幅提升支持開發和運行更大、更復雜的 AI 模型。
HBM 帶寬： Blackwell 上的高帶寬內存 (HBM) 帶寬為每參數秒 34 兆兆字節 (TB/s)，是 Hopper 上可用帶寬的五倍。這允許更快的數據傳輸速率，從而顯著提高計算性能。
采用 SHARP 技術的 NVLink All-Reduce： Blackwell 架構采用 SHARP 技術，提供 7.2 TB/s 的 NVLink all-reduce 功能，是 Hopper 架構功能的四倍。SHARP（可擴展分層聚合和縮減協議）增強了集體通信操作，這對于分布式 AI 和機器學習任務至關重要。
借助 Blackwell 架構，NVIDIA 推出了第五代 NVLink，提供前所未有的并行性和帶寬水平，遠遠超過 Hopper 架構的功能。這些進步凸顯了 Blackwell 為下一代人工智能和高性能計算應用提供支持的潛力。
Blackwell 架構還配備了 Secure AI。Secure AI 即使在使用時也能保護您的 AI 數據。它提高了安全性，同時又不降低速度。這使得公司可以安全地開展最復雜的 AI 項目，保護他們的想法，并實現設備之間的安全訓練、分析和信息共享。
Blackwell 還具有智能彈性，配備專用的可靠性、可用性和可服務性 (RAS) 引擎，可及早識別可能發生的潛在故障，從而最大限度地減少停機時間。其 RAS 引擎提供深入的診斷信息，以識別問題區域并規劃維護。
NVIDIA 還推出了一套全面的產品，利用 Blackwell 架構重塑計算領域。以下是其中一些產品。
NVIDIA B100 和 B200
NVIDIA 正在 Blackwell 架構的基礎上推出兩款新 GPU，即 B100 和 B200。這些 GPU 采用雙芯片設計，每個芯片包含四個 HBM3e 內存堆棧，每個堆棧提供 24GB 容量，在 1024 位接口上提供 1 TB/s 的帶寬。
B100 和 B200 GPU 還提高了浮點運算的精度。它們配備了一個轉換引擎，可以在可能的情況下動態自動地重新縮放數值精度并將其重新轉換為較低的格式。這可以改善機器學習計算，因為在處理較小的浮點數時，計算的準確性會影響機器學習模型的能力和準確性。
雖然 NVIDIA 沒有明確提供 B100 和 B200 GPU 的基準測試，但我們根據以下方面細分了它們的規格：
NVIDIA B100
B100 Blackwell GPU 提供均衡的計算效率。它為密集 FP4 張量運算提供高達 7 PFLOPS，其中“密集”表示張量的大多數元素都非零，需要進行全面計算。相比之下，它為稀疏 FP4 運算提供高達 14 PFLOPS，其中“稀疏”表示大多數元素為零，由于需要計算的非零元素較少，因此可以實現優化、更快的處理。
對于平衡精度和計算速度至關重要的 FP6/FP8 張量，B100 在密集/稀疏任務中分別達到 3.5/7 PFLOPS。其對快速數據推理至關重要的 INT8 張量性能在密集/稀疏場景中達到 3.5/7 POPS。
在更高精度要求下，B100 的 FP16/BF16 張量在密集/稀疏計算中以 1.8/3.5 PFLOPS 運行，TF32 張量以 0.9/1.8 PFLOPS 運行，支持一系列精確計算任務。此外，它還為需要最高精度的科學應用提供 30 TFLOPS 的 FP64 密集計算。
GPU 擁有 192GB 內存，可處理大量數據。它支持 8 TB/s 內存帶寬和等效 1.8 TB/s NVLink 帶寬，可實現快速數據通信。B100 的功率規格為 700W，對于需要平衡功率和性能的復雜計算設置而言，它是一種節能的選擇。
NVIDIA B200
B200 Blackwell GPU 在密集 FP4 張量運算中實現高達 9 PFLOPS，在稀疏 FP4 張量運算中實現高達 18 PFLOPS。對于 FP6/FP8 張量運算，在精度和速度之間取得平衡，B200 分別記錄了密集/稀疏活動的 4.5/9 PFLOPS。其 INT8 張量能力對于快速數據分析和推理至關重要，在密集/稀疏計算中達到 4.5/9 POPS，確保高效的實時處理。
B200 在精密任務中表現出色，密集/稀疏 FP16/BF16 張量為 2.25/4.5 PFLOPS，密集/稀疏 TF32 張量為 1.2/2.25 PFLOPS，適用于各種科學和機器學習應用。對于最終精度，例如在詳細的科學計算中，它在 FP64 密集計算中提供了穩定的 40 TFLOPS。
B200 配備 192GB 內存，可增強大規模數據處理能力。它支持 8 TB/s 內存帶寬和相應的 1.8 TB/s NVLink 帶寬，可實現快速高效的數據傳輸。B200 的額定功耗為 1000W，專為在苛刻的計算環境中實現節能而設計，在高端性能和功耗之間實現平衡。
GB200 和 GB200 NVL72
NVIDIA 還發布了 GB200 Grace Blackwell 超級芯片。它結合了兩個 NVIDIA B200 Tensor Core GPU 和一個NVIDIA Grace CPU超過 900GB/s 的超低功耗NVLink 芯片到芯片互連。
Grace Blackwell 超級芯片的芯片到芯片鏈路完全內存一致，從而創建了一個沒有內存本地化的統一芯片。超級芯片采用 HBM3e 內存，提供高達 384 GB 的容量和 16 TB/s 的帶寬，有助于快速處理數據。
它包含一個解壓縮引擎和多媒體解碼器，基于 72 個 ARM Neoverse V2 內核，具有各種緩存級別（L1、L2 和 L3 緩存），可優化數據檢索速度。它集成了最新的 NVLink 5.0 和 PCIe Gen 6，支持高速數據傳輸。
Grace Blackwell 超級芯片專為可擴展性而設計，支持多實例 GPU 功能，并且封裝方便服務器集成。TDP 可配置高達 2700 W，可根據計算需求進行能源管理。
在實際應用中，GB200 顯著改善了數據庫處理等計算任務，速度比傳統 CPU 提高了 18 倍，從而降低了能耗和總擁有成本。它加速了對產品設計至關重要的基于物理的模擬，從而實現了經濟高效的數字測試。對于 ASIC 設計（以 Cadence SpectreX 模擬器為例），它提供了 13 倍的速度提升。此外，在計算流體力學方面，GB200 將模擬速度提高了 22 倍，從而提高了工程和設計效率。
GB200 NVL72結合了 36 個 Grace CPU 和 72 個 Blackwell GPU。它是一個液冷式機架級 72-GPU NVLink 域，可以充當單個大型 GPU。它引入了尖端功能和第二代 Transformer Engine，可顯著加速 LLM 推理工作負載，為資源密集型應用程序提供實時性能，例如萬億參數語言模型。
推理是生成式 AI 和 LLM 的關鍵方面之一。它指的是模型在經過訓練后，根據收到的輸入生成或預測新數據點（標記）的階段。此過程稱為“標記生成”。
得益于 FP4、張量核心、Transformer 引擎和 NVLink 交換機，GB200 NVL72 可以生成比 Hopper 多 30 倍的令牌，實現 1.8 TB/s 的 GPU 到 GPU 互連。
GB200 NVL72 專為高級計算任務而設計，需要高級網絡才能發揮最佳功能。通過集成 NVIDIA Quantum-X800 InfiniBand、Spectrum-X800 以太網和 BlueField-3 DPU，可提高大型 AI 數據中心的性能、效率和安全性。
Quantum-X800 InfiniBand對于構建 AI 計算框架至關重要，它能夠在兩級胖樹拓撲中連接超過 10,000 個 GPU 單元。此設置顯著改進，性能比 NVIDIA 上一代 Quantum-2 提高了五倍。
與此同時，NVIDIA Spectrum-X800和BlueField-3 DPU 平臺旨在擴展整個數據中心的功能。它們提供快速的 GPU 數據訪問，確保多個用戶（多租戶）的安全環境，并促進簡化的數據中心運營。這種組合支持 GB200 在高效處理大量 AI 數據集方面的作用。
Blackwell 為生成式人工智能帶來的實際好處
NVIDIA 的 Blackwell 架構旨在加速生成式 AI，大幅縮短訓練和推理時間，從而加快整個科技行業的研究和產品開發。從實際意義來看，這意味著能夠解決以前計算成本高昂的問題。
隨著 FP4 的引入，訓練生成式 AI 時的準確度損失最小。FP4 還允許在相同時間范圍內對模型進行更長時間的訓練，從而提高速度和準確性。
基于 Blackwell 的 GPU 可用于創建高度詳細的虛擬現實，這有助于加速多模態 LLM 和機器人的訓練，使其具有更多細微差別和更好的背景。
此外，NVIDIA 的 B100 和 B200 GPU 可促進從材料科學到醫學，甚至自動駕駛汽車等復雜領域的進步。它們的能力將幫助解決以前無法解決的挑戰，推動各行業的創新和效率。
捷智算平臺讓您有機會優先租用 NVIDIA 的最新B100 GPU。與此同時，您可以訪問捷智算平臺的 A100、H100 或 H200 GPU，然后首先通過云升級到最新的 GPU 硬件。
