HPE 儲存技術突破 AI 與 GPU 應用效能瓶頸打造高效創新資料應用
HPE 儲存技術突破 AI 與 GPU 應用效能瓶頸打造高效創新資料應用
面對生成式 AI 驅動的資料爆炸挑戰，HPE 推出 WEKA、GL4F (GreenLake for File)及 Qumulo 等專為 AI 與 GPU 工作負載設計的儲存解決方案，助企業充分釋放資料價值，在數位化競爭中脫穎而出
「資料是企業的核心，創新的根基」HPE 技術規劃處技術經理王烈航在 2024 CCDS 演講中，開場就點出資料對於現代企業的重要性。生成式 AI、自然語言處理（NLP）和電腦視覺等應用的迅速普及，全球企業正面臨前所未有的資料規模爆炸的挑戰。從資料整備到模型訓練，再到推理，AI 工作負載需要處理大量的多來源資料集，並同時兼顧高效能、低延遲與成本效益的需求。
而 HPE 憑藉創新技術與全面產品組合，為企業量身打造了一系列針對 AI 與 GPU 工作負載的儲存解決方案，結合效能、容量與靈活性，幫助企業實現資料運用的最大化價值，並在競爭激烈的數位化浪潮中脫穎而出。
資料密集時代帶來儲存挑戰
AI 工作的核心在於資料，其處理不僅涉及模型訓練，還涵蓋了整個生命週期的每個階段，包括資料準備、訓練、微調和推理等。王烈航指出，不同階段對儲存系統的需求各不相同。資料整備階段需要處理、清洗來自多來源、多格式的資料，對儲存系統產生高吞吐量和兼容性的要求，此時資料湖成為理想解決方案，能整合多種資料並支援平行處理。
而進入訓練與微調階段後，儲存需求轉向高效能與低延遲，特別是在大型語言模型的應用中，需處理 PB 級資料集並協調數兆參數的運算。此階段儲存系統需具備快速讀寫性能，並能與 GPU 資源無縫協作，避免儲存瓶頸影響訓練效率。在推理階段， AI 模型需要即時讀取訓練資料並進行快速運算。自然語言處理（NLP）或電腦視覺等應用對儲存系統的要求集中在極低延遲與高效讀取性能，以確保快速回應用戶需求。
從資料整備到推理，儲存系統在 AI 工作流程中的角色不可或缺，不僅影響運算效率，也直接決定了模型的整體效能與實用性。為了滿足複雜的資料應用需求，王烈航介紹了一系列 HPE 針對性強、靈活可靠的儲存解決方案，包括 WEKA、GreenLake for File Storage (GL4F)、Qumulo 及 Scality 等檔案系統，涵蓋了高效能、容量與成本之間的最佳平衡。
專為高效能 AI 訓練打造的平行處理檔案系統— WEKA
WEKA 作為一種高效能平行處理檔案系統，WEKA 以其創新的設計在 AI 訓練與微調階段展現出顯著的效能優勢。其核心技術之一是 GPU Direct Storage，允許資料直接從儲存設備傳輸到 GPU，繞過傳統的處理瓶頸，有效降低資料存取延遲。此外，王烈航強調，WEKA 採用了平行處理架構，徹底改變了傳統序列處理模式。在傳統架構中，如資料匯集、ETL、訓練、驗證、推理和存檔等階段，需要依次完成，並且每個步驟都涉及資料複製，導致時間成本顯著增加。
透過 WEKA，這些流程得以平行執行，資料無需多次複製即可直接被後續階段使用，實現零複製的處理方式。這種架構不僅提升了處理速度，還減少了資料傳輸的時間浪費。在實際應用中，WEKA 成功將 AI 模型訓練時間從兩週縮短至僅四小時，達成了 20 倍的效率提升。這一突破性的表現，使得像 GPT-4 這樣的大規模生成式AI模型能更快速地完成訓練，極大縮短了產品上市周期，為企業帶來顯著的競爭優勢。
結合高效能與大容量的靈活儲存解決方案— GL4F
HPE GL4F 建構於 HPE Alletra Storage MP 平臺基礎之上，專為處理資料密集型工作負載而設計，特別適合如 AI/ML、高效能運算（HPC）、生命科學及媒體等應用場景。GL4F 支援模組化儲存架構，允許獨立擴充儲存容量和效能，企業可以根據業務需求動態調整儲存資源，避免不必要的成本浪費。
王烈航解釋 GL4F 採用先進資料減量技術，包括壓縮（Compression）、去重（Deduplication）及相似性減量（Similarity Reduction）。相似性減量能以全域且精細的方式整合相似資料塊，適用於如未壓縮的時間序列資料等場景，其資料減量比可達 8:1，有效降低儲存需求，同時保持高效的讀寫性能，進一步提升資源利用率。
高經濟效益的非結構化資料儲存解決方案— Qumulo
而 Qumulo 在處理超大規模非結構化資料時展現出高效能，運用單一命名空間設計和 4KB 粒度資料塊配置，實現高效的系統協作與儲存效率。其分散式檔案系統支持多節點線性擴展，即使在容量需求大幅增加時仍能保持穩定效能。同時，Qumulo 的 NVMe SSD 快取層提供高達 93% 的快取命中率，結合混合儲存架構，智慧分層熱資料與冷資料，在平衡效能與成本的同時，滿足企業對高效存取的需求。
此外，王烈航指出，Qumulo 特殊的儲存技術，大幅提高儲存密度並降低每 TB 成本。在處理 9.33TB 資料時，Qumulo 僅占用 9.49TB 的磁碟空間，相較同樣的資料在傳統儲存系統中，則需占用 33.2TB。這些特性使 Qumulo 成為資料湖管理的理想選擇，特別適合需同時兼顧高效能與成本效益的企業，靈活的擴展能力與穩定的效能表現，Qumulo 提供了一套可靠且經濟的儲存解決方案，滿足企業在資料密集型場景中的多樣需求。
HPE 全方位儲存解決方案滿足各種資料應用需求
HPE 針對多樣化 AI 應用場景提供了全面且針對性的儲存解決方案，WEKA、GL4F 和 Qumulo 這三種技術在效能、容量與靈活性之間取得了良好的平衡，可滿足企業從高效能運算到大規模資料管理的各類需求。
王烈航總結 HPE 各儲存解決方案適用案例，高效能任務如模型訓練與推理優先考慮 WEKA；大規模非結構化資料和資料湖管理則選擇 Qumulo；而需要同時滿足容量與效能需求的場景則適合 GL4F。這樣的分層策略不僅提升了系統資源的利用率，還幫助企業降低了總體擁有成本。無論是高效能運算的需求，還是大規模資料管理的挑戰，HPE 的儲存方案均能提供可靠支援，協助企業在資料密集型時代實現業務的持續突破與成長。