NVIDIA NVLink 和 Fusion Drive AI 推論效能

Rongchai Wang
2025年8月22日 05:13 (UTC +8)

NVIDIA的NVLink和NVLink Fusion技術正在重新定義AI推論效能，透過增強的可擴展性和靈活性來滿足AI模型複雜度的指數級增長。

人工智能(AI)模型複雜度的快速發展已顯著地將參數數量從數百萬增加到了數萬億，這需要前所未有的計算資源。正如Joe DeLaere在最近的NVIDIA部落格文章中所強調的，這種演變需要GPU集群來管理負載。

NVLink的演進與影響

NVIDIA在2016年推出了NVLink，以超越PCIe在高效能運算和AI工作負載方面的限制，促進更快的GPU到GPU通信和統一記憶體空間。NVLink技術已顯著演進，2018年引入的NVLink Switch在8-GPU拓撲中實現了300 GB/s的全對全頻寬，為擴展計算架構鋪平了道路。

2024年發布的第五代NVLink支援72個GPU，全對全通信速度達到1,800 GB/s，提供130 TB/s的總頻寬—比第一代增加了800倍。這種持續的進步與AI模型日益增長的複雜性及其計算需求相符。

NVLink Fusion：客製化與靈活性

NVLink Fusion旨在為超大規模服務提供商提供NVLink擴展技術的訪問，允許自定義矽晶片與NVIDIA架構整合，以部署半客製化AI基礎設施。該技術包括NVLink SERDES、晶片、交換器和機架規模架構，提供模組化的開放計算項目(OCP) MGX機架解決方案，以實現整合靈活性。

NVLink Fusion支援使用通用晶片互連快速(UCIe) IP和接口的自定義CPU和XPU配置，為客戶提供跨平台XPU整合需求的靈活性。對於自定義CPU設置，建議整合NVIDIA NVLink-C2C IP以獲得最佳的GPU連接和效能。

最大化AI工廠收益

NVLink擴展架構通過優化每瓦吞吐量和延遲之間的平衡，顯著提升了AI工廠生產力。NVIDIA的72-GPU機架架構在滿足AI計算需求方面發揮著關鍵作用，實現各種用例的最佳推論效能。即使NVLink速度保持不變，該技術擴展配置的能力也能最大化收益和效能。

強大的合作夥伴生態系統

NVLink Fusion受益於廣泛的矽晶片生態系統，包括自定義矽晶片、CPU和IP技術的合作夥伴，確保廣泛支援和快速設計能力。系統合作夥伴網絡和數據中心基礎設施組件提供商已經在建造NVIDIA GB200 NVL72和GB300 NVL72系統，加速採用者的市場進入時間。

AI推理的進步

NVLink代表了在AI推理時代解決計算需求的重大飛躍。通過利用十年的NVLink技術專業知識和OCP MGX機架架構的開放標準，NVLink Fusion為超大規模服務提供商提供了卓越的效能和客製化選項。

圖片來源：Shutterstock