最新基準測試顯示，搭載 NVIDIA B200 的 Supermicro 系統性能優于上一代系統，每秒令牌（Token）生成量是上一代系統的 3 倍
加利福尼亞州圣何塞2025年4月3日 /美通社/ -- Super Micro Computer, Inc. (SMCI)，是一家為 AI/ML、HPC、云端、存儲和 5G/Edge 提供全面 IT 解決方案的供應商，該公司宣布使用 NVIDIA HGX? B200 8-GPU 在多個 MLPerf Inference v5.0 基準測試中率先實現了業界領先的性能。在特定基準測試中，4U 液冷和 10U 風冷系統實現了最佳性能。與 H200 8-GPU 系統相比，Supermicro 在 Llama2-70B 和 Llama3.1-405B 基準測試中展示了每秒生成令牌數 (Token/s) 超過 3 倍的效果。
"Supermicro 依然是人工智能行業的領先者，MLCommons 于 2025 年發布的首批新基準測試就證明了這一點。"Supermicro 總裁兼首席執行官梁見后（Charles Liang）表示說，"我們的構建塊架構使我們能夠率先向市場推出針對各種工作負載進行優化的多種系統。我們將繼續與 NVIDIA 密切合作，以微調我們的系統，并確保在 AI 工作負載方面的領先地位。"
要了解有關新 mlPerf v5.0 推理基準測試的更多信息，請訪問：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一一家發布風冷和液冷 NVIDIA HGX? B200 8-GPU 系統 MLPerf 推理性能記錄（在特定基準上）的系統供應商。在 MLCommons 基準測試開始日期之前，風冷和液冷系統均已投入運行。Supermicro 工程師對系統和軟件進行了優化，以展示其令人印象深刻的性能。在營業利潤率范圍內，Supermicro 風冷 B200 系統表現出與液冷 B200 系統相同的性能水平。在我們進行基準測試的同時，Supermicro 一直在向客戶交付這些系統。
MLCommons 強調所有結果均可重現，產品可用，并且結果可以由其他 MLCommons 成員審計。Supermicro 工程師根據 MLCommons 規則對系統和軟件進行了優化。
SYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8x NVIDIA B200-SXM-180GB）在運行 Mixtral 8x7B 推理、混合專家基準測試時表現出性能領先優勢，速度為 129,000 個 token/秒。基于 Supermicro 風冷和液冷 NVIDIA B200 的系統為大型 Llama3.1-405b 型號提供了超過 1,000 個 token /秒的推理，而前幾代 GPU 系統的結果要小得多。對于較小的推理任務，使用 LLAMA2-70b 基準，安裝了 NVIDIA B200 SXM-180GB 的 Supermicro 系統展現出一級系統供應商的最高性能。
具體的內容包括：
Stable Diffusion XL（服務器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 queries/s，28.92
llama2-70b-interactive-99（服務器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 tokens/s，62,265.70
llama3.1-405B（脫機）
SYS-421GE-NBRT-LCC (8xb200-sxm-180GB)
#1 tokens/s 1521.74
llama3.1-405b（服務器）
SYS-A21GE-NBRT（8x B200-SXNM-180GB）
#1 tokens/s，1080.31（適用于 8 個 GPU 節點）
mixtral-8x7b（服務器）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，129,047.00
mixtral-8x7b（離線）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，128,795.00
"MLCommons 祝賀 Supermicro 提交了 MLPerf Inference v5.0 基準測試。我們很高興看到他們的結果與前幾代系統相比顯示出顯著的性能提升，"MLCommons MLPerf 負責人 David Kanter 表示說，"客戶會對所實現的性能改進感到滿意，這些改進已得到中立、代表性和可重復的 MLPerf 結果得到驗證。"
Supermicro 提供全面的 AI 產品組合，其中包括 100 多個針對 GPU 優化的系統，包括風冷和液冷選項，以及多種 CPU 選擇，從單插槽優化系統到 8 路多處理器系統。Supermicro 機柜級系統包括計算、存儲和網絡組件，從而減少了交付到客戶現場后安裝所需的時間。
Supermicro 的 NVIDIA HGX B200 8-GPU 系統，采用下一代液體冷卻和空氣冷卻技術。在相同的 4U 外形尺寸下，新開發的冷板和新型 250 千瓦冷卻劑分配單元（CDU）的冷卻能力，比上一代產品提高了一倍多。采用全新立式冷卻劑分配歧管 (CDM) 的機柜級設計有 42U、48U 或 52U 配置可供選擇，不再占用寶貴的機架單元。這樣便可實現 8 個系統（42U 機架中配備 64 個 NVIDIA Blackwell GPU）和 12 個系統（52U 機架中配備 96 個 NVIDIA Blackwell GPU）。
新型風冷 10U NVIDIA HGX B200 系統采用重新設計的機箱，具有更大的散熱空間，可容納 8 個 1000W TDP Blackwell GPU。最多 4 個全新 10U 風冷系統可以安裝并完全集成到機架中，其密度與上一代相同，同時提供高達 15 倍的推理和 3 倍的訓練性能。
關于Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是應用優化整體IT解決方案的全球領軍企業。Supermicro在加利福尼亞州圣何塞成立并運營，致力于為企業、云、 AI和5G Telco/Edge IT基礎設施提供率先進入市場的創新技術。我們是一家提供服務器、人工智能、存儲、物聯網、交換機系統、軟件和支持服務的整體IT解決方案提供商。Supermicro的主板、電源和機箱設計專業知識進一步推動了我們的開發和生產，為我們的全球客戶實現了從云到邊緣的下一代創新。我們的產品均在公司內部（包括美國、亞洲和荷蘭）完成設計和制造，通過全球運營實現規模和效益，從而優化總體擁有成本（TCO），并能夠（通過綠色計算）減少對環境的影響。屢獲殊榮的Server Building Block Solutions®產品組合通過我們靈活可重復使用的構建塊，為客戶提供了豐富的可選系統產品系列，用于優化其確切的工作負載和應用。這些構建塊支持全系列外形規格、處理器、內存、GPU、存儲、網絡、電源和冷卻解決方案（空調、自然空氣冷卻或液體冷卻）。
Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商標和/或注冊商標。
