借助 NVIDIA A30 Tensor Core GPU 為各種企業(yè)工作負載帶來加速性能。借助 NVIDIA Ampere 架構 Tensor Core 和多實例 GPU (MIG),它可以安全加速各種工作負載,其中包括大規(guī)模 AI 推理和高性能計算 (HPC) 應用程序。具有 PCIe 外形規(guī)格(非常適合主流服務器)的 A30 集快速顯存帶寬與低功耗于一體,不僅能實現(xiàn)彈性數(shù)據(jù)中心,還能為企業(yè)帶來更大價值。
深度學習訓練
為應對對話式 AI 等新型挑戰(zhàn)而訓練 AI 模型需要強大的計算能力與可擴展性。
NVIDIA A30 Tensor Core 具備 Tensor Float (TF32) 精度,可提供比 NVIDIA T4 高 10 倍之多的性能,并且無需更改代碼;若使用自動混合精度和 FP16,性能可進一步提升 2 倍,綜合起來可將吞吐量提高 20 倍。與 NVIDIA? NVLink?、PCIe Gen4、NVIDIA Mellanox? 網(wǎng)絡和 NVIDIA Magnum IO? SDK 配合使用時,可以擴展到數(shù)千個 GPU。
Tensor Core 和 MIG 使 A30 全天都能夠動態(tài)地用于工作負載。它可以在需求高峰時段用于生產(chǎn)推理,并且部分 GPU 可以在非高峰時段改用于快速重新訓練同一批模型。
NVIDIA 在行業(yè)級 AI 訓練基準測試 MLPerf 中取得多項性能佳績。對于具有龐大數(shù)據(jù)表的超大型模型(例如深度學習推薦模型 [DLRM]),A800 80GB 可為每個節(jié)點提供高達 1.3TB 的統(tǒng)一顯存,而且吞吐量比 A800 40GB 多高達 3 倍。
NVIDIA 的領先地位在MLPerf這個行業(yè)級 AI 訓練基準測試中得到印證,創(chuàng)下多項性能紀錄。
深度學習推理
A30 引入了突破性的功能來優(yōu)化推理工作負載。它能在從 FP64 到 TF32 和 INT4 的整個精度范圍內(nèi)進行加速。A30 每個 GPU 支持多達 4 個 MIG,允許多個網(wǎng)絡在安全的硬件分區(qū)中同時運行,同時保證服務質量 (QoS)。在 A30 其他推理性能增益的基礎之上,僅結構化稀疏支持一項就能帶來高達兩倍的性能提升。
NVIDIA 產(chǎn)品的出色 AI 性能在 MLPerf 推理測試中得到驗證。通過與可以輕松地大規(guī)模部署 AI 的 NVIDIA Triton? 推理服務器配合使用,A30 能為不同企業(yè)帶來此突破性性能。
高性能計算
為了獲得新一代的發(fā)現(xiàn)成果,科學家們希望通過仿真來更好地了解我們周圍的世界。
NVIDIA A30 采用 FP64 NVIDIA Ampere 架構 Tensor Core,提供自 GPU 推出以來幅度非常大的 HPC 性能飛躍。配合 24 GB 的 GPU 顯存和 933 GB/s 的帶寬,可讓研究人員快速解決雙精度計算問題。HPC 應用程序還可以利用 TF32 提高單精度、密集矩陣乘法運算的吞吐量。
FP64 Tensor Core 與 MIG 的結合能讓科研機構安全地對 GPU 進行分區(qū),以允許多位研究人員訪問計算資源,同時確保 QoS 和更高的 GPU 利用率。部署 AI 的企業(yè)可以在需求高峰時段使用 A30 的推理功能,然后在非高峰時段將同一批計算服務器改用于處理 HPC 和 AI 訓練工作負載。
高性能數(shù)據(jù)分析
數(shù)據(jù)科學家需要能夠分析和可視化龐大的數(shù)據(jù)集,并將其轉化為寶貴見解。但是,由于數(shù)據(jù)集分散在多臺服務器上,橫向擴展解決方案往往會陷入困境。
搭載 A30 的加速服務器可以提供必需的計算能力,并能利用大容量 HBM2 顯存、933 GB/s 的顯存帶寬和通過 NVLink 實現(xiàn)的可擴展性妥善處理這些工作負載。通過結合 InfiniBand、NVIDIA Magnum IO 和 RAPIDS? 開源庫套件(包括 RAPIDS Accelerator for Apache Spark),NVIDIA 數(shù)據(jù)中心平臺能夠加速這些大型工作負載,并實現(xiàn)超高的性能和效率水平。
企業(yè)就緒,高效利用
A30 結合 MIG 技術可以更大限度地提高 GPU 加速的基礎設施的利用率。借助 MIG,A30 GPU 可劃分為多達 4 個獨立實例,讓多個用戶都能使用 GPU 加速功能。
MIG 與 Kubernetes、容器和基于 Hypervisor 的服務器虛擬化配合使用。MIG 可讓基礎設施管理者為每項作業(yè)提供大小合適的 GPU,同時確保 QoS,從而擴大加速計算資源的影響范圍,以覆蓋每位用戶。
NVIDIA AI Enterprise
NVIDIA AI Enterprise 是一套端到端云原生 AI 和數(shù)據(jù)分析軟件,經(jīng)認證可在基于服務器虛擬化平臺的虛擬基礎設施(帶有 VMware vSphere)中的 A30 上運行。這允許在混合云環(huán)境中管理和擴展 AI 工作負載。
注:與 NVIDIA 產(chǎn)品相關的圖片或視頻(完整或部分)的版權均歸 NVIDIA Corporation 所有。