NVIDIA 案例

NVIDIA 的 AI 工廠大規模帶動企業創新

目標

與眾多組織一樣，NVIDIA 員工很快開始採用生成式 AI，建置及運用聊天機器人與數位代理，提升生產力、自動執行任務並加速創新。不過，為了實現全企業範圍的部署，同時減少影子 AI 的風險，我們不得不將這些早期試點專案移轉至統一、安全且高效能的基礎架構，並能支援多樣化且不斷成長的 AI 驅動工作流程組合：AI 工廠。我們將數百種 AI 解決方案部署至統一的 AI 工廠，展示 IT 團隊如何部署高效能 AI 基礎架構，並與公司資料連接，革新業務營運方式。

使用案例

加速運算工具與技術

產品

NVIDIA 資料中心/雲端
 NVIDIA AI Enterprise
NVIDIA NIM

關鍵要點

軟體工程與硬體設計代理在一年內為 NVIDIA 工程團隊執行超過 30 年的工作。

供應鏈代理將每日規劃時間縮短超過 95%，以便員工騰出時間從事其他關鍵工作。

數百種 AI 工作流程正導入 NVIDIA 統一的 AI 工廠。

運用 AI 代理加速企業影響力

AI 代理正扮演智慧協作者的角色，能夠規劃、推理、學習並採取行動，進而重新定義業務生產力。這些數位同事並非將個別任務自動化，而是協助團隊將業務流程轉化為資料驅動且採用 AI 技術的工作流程。為了實現此願景，NVIDIA 建置 AI 工廠，打造強大且可靠的平台，用於大規模開發、部署與管理 AI 代理。

我們的 AI 工廠旨在加速 AI 代理開發與營運的每個階段。這些數位助理旨在處理各種複雜任務，無論是支援開發 GPU 架構的工程師，或是協助銷售與行銷團隊推廣 NVIDIA 產品，都能同樣順暢無縫地勝任。

這套 AI 工廠基礎架構以 NVIDIA 企業參考架構與 NVIDIA 企業 AI 工廠驗證設計為基礎，提供一致且高效能的基礎，協助開發及擴展 AI 代理。它將孤立的 AI 實驗項目轉化為可擴展且可靠的引擎，推動創新與成長，進而發揮業務影響力。主要優勢包括縮短部署時間、提升敏捷性，並在生命週期的每個階段提高 AI 工作負載效率。

打造可擴充的 AI 工廠

NVIDIA 的 AI 工廠採用 NVIDIA Blackwell 架構的 NVIDIA 認證系統™ 執行。其中包括 NVIDIA HGX™ B200 系統，以及搭載 NVIDIA Spectrum-X™ 網路技術與 NVIDIA 認證儲存方案的 NVIDIA RTX PRO™ 伺服器。此外，它也運用全面的軟體堆疊，包括 NVIDIA Run:ai，用於管理及最佳化 GPU；NVIDIA AI Enterprise，用於建置、開發及部署生成式與代理 AI 應用程式。

作為持續最佳化工作的一部分，NVIDIA IT 運用 GenAI-Perf 衡量已部署之 LLM 的傳輸量與延遲，並提高傳輸量及降低延遲。在此過程中，團隊開發了標準化的端到端基準測試架構，包括 NVIDIA NIM™ 部署與系統剖析。成果建立了可靠的效能基準，並為內部部署 LLM 揭示可擴展的部署模式，進一步強化營運紀律並支援跨職能學習。

對於代理 AI 開發與最佳化，NVIDIA AI 工廠使用 NVIDIA AI Enterprise 軟體，包括 NVIDIA Nemotron™ 推理模型、NIM 與 NeMo™ 微服務。此外，NVIDIA GPU Operator 與 Network Operator 也納入其中，可提供高效的 GPU 管理。

資料層與 NVIDIA 的整個內部知識庫串連，包含超過 11 億份文件，這些文件正透過客製版本的 NVIDIA AI Blueprint for 檢索增強生成 (RAG) 供 AI 代理使用。

按一下即可放大影像

NVIDIA 在企業範圍的部署結果顯示，AI 工廠所能帶來的不只是漸進式的效益。而是為整個公司推出代理 AI，為協作、速度與創新樹立了新的標竿。透過打造供內部使用的 AI 工廠，我們驗證了 AI 解決方案的可信度與影響力，並將經驗分享給其他組織。

透過此次部署，NVIDIA IT 在大規模建置及管理 AI 工廠方面獲得寶貴的見解。團隊強調了實證參考架構、及早規劃資料中心就緒狀態的重要性，並密切協調軟硬體版本發佈。使用一致的平台協助簡化營運並維持安全性，將最初從實驗性設定轉化為可重複使用的模型，以提供安全的企業級 AI 創新服務。

AI 工廠如何運用代理 AI 創造有形價值

NVIDIA 正採取系統化且分階段的方法，將不同團隊打造的 AI 代理導入單一整合平台，不僅針對效能最佳化，同時遵循相同的安全性、法規遵循和隱私保護措施進行治理。我們的團隊正對關鍵代理工作流程進行基準測試及移轉，例如支援硬體設計、軟體工程與供應鏈最佳化的代理工作流程。

隨著繼續移轉，我們已從 AI 代理計畫中實現顯著的企業價值。提早轉型至 AI 工廠可帶來多項優勢：

加速硬體設計：AI 代理在一年內完成超過 16 年的硬體工程工作量。這些助理支援了涵蓋 GPU 設計、疑難排解迴歸資料、審查驗證計畫以及回答超過 100 萬個工程查詢等領域的 100 多個工作流程。
簡化軟體工程：用於軟體工程的 AI 代理在短短一年多內完成超過 18 年的開發工作，涵蓋 GPU 與 AI 最佳化函式庫、硬體設計與測試工具，以及 NVIDIA DGX™ Cloud 軟體。這種快速交付協助 NVIDIA 更快推出新功能，供數十萬名開發人員使用，他們仰賴我們的軟體建置及部署自己的 AI 應用程式。
最佳化供應鏈營運：NVIDIA 供應鏈 AI 代理由 cuOpt™ 驅動，可自動執行複雜的規劃、解決短缺問題並加速產品分配。每天客戶分配規劃時間從三小時壓縮至短短 10 分鐘，每週庫存規劃時間從 15 小時縮短至一小時，有助於確保合作夥伴與客戶更快收到更多 GPU。