打破三重壁壘,華為OceanStor定義下一代HPC並行存儲

HPC造福社會,深入影響生活的方方面面


隨著信息化的飛速發展,人類對信息處理能力的要求越來越高,海量的數據需要高效的計算與存儲,高性能計算HPC應運而生,並且開始在我們的社會進步中發揮著無可替代的重要作用。
在新藥研發領域,藉助HPC可以加速藥物篩選和分子分析,使得新藥的研發週期大幅縮短;在新車研發領域,通過HPC實現車輛碰撞的技術仿真,用數據來模擬物理碰撞,大幅降低了研發費用和週期;在基因測序領域,人類第一次完整全基因組的測序花了13年的時間,而今在HPC的加持下,這個時間已經降低到1天以內;在天氣預報領域,如今的預報準確率相比十年前有了很大的提升,這些進步的背後HPC技術功不可沒。

打破三重壁壘,華為OceanStor定義下一代HPC並行存儲


5G和AI時代新趨勢、新挑戰,HPC存儲升級正當時


隨著5G、大數據和AI等技術的發展和成熟,數據的潛在價值進一步凸顯,各行業的數據量都迎來了新一輪爆發式增長。新一代基因測序設備日產出數據可達6TB,單顆商業衛星年採集數據量高達1PB,每輛自動駕駛訓練車每天產生60TB數據。作為HPC的數據底座,高性能海量存儲對於高性能數據價值挖掘的作用進一步凸顯。
數據量增長的同時,HPC也開始與大數據、AI等技術融合,向以HPDA(Highperformance data analytics )和HPC-based AI為代表的新計算架構演進,將HPC產業帶入新的發展階段。
新的趨勢下意味著更大的機遇,同時也給存儲帶來了新的挑戰:

  • HPDA和HPC-based AI對數據分析效率提出了更高的要求,數據處理過程變得多樣化,一份數據在不同的階段需要通過不同的協議訪問。傳統方式下一套存儲只提供一種協議訪問能力,這就形成了服務壁壘,跨協議訪問時需要多次數據拷貝,效率低下。
  • 隨著CPU+GPU異構計算技術的快速發展,需要更大帶寬、更低時延的存儲以充分釋放算力潛能,同時,需要適配不同的性能模型以匹配業務負載的多樣化趨勢,比如同時提供對帶寬與OPS(Operations per Second)的支持。傳統存儲僅擅長一類性能模型,高帶寬與高OPS不可兼得,這就形成了性能壁壘,難以應對複雜性能模型。
  • 由於數據的價值不斷釋放,企業願意去更多、更久地保存數據,數據量從PB向EB級跨越,需要存儲系統支持數據全生命週期的管理,不斷的優化TCO。傳統存儲無法兼顧性能與成本,冷熱數據需手工在不同存儲間搬遷,這就形成了成本壁壘。

如何打破這三重壁壘的限制,充分釋放算力潛能,成為了當下HPC產業的重要課題,這也是HPC產業實現升級的必由之路。

OceanStor Pacific新一代高性能並行存儲,引領HPC產業升級


2020年9月在上海舉行的華為全連接2020上,華為基於OceanStor Pacific系列推出了新一代高性能並行存儲方案,通過打破三大壁壘定義下一代HPC並行存儲,引領HPC產業升級浪潮。

打破三重壁壘,華為OceanStor定義下一代HPC並行存儲


打破服務壁壘,架構升級,多協議無損互通


OceanStor Pacific系列全新推出了下一代並行文件系統,支持NFS/CIFS/HDFS/S3多種協議訪問同一份文件數據,實現全流程0拷貝。在自動駕駛、精準醫學、智能製造等新興的HPDA場景中,大幅提升數據訪問效率。
最能體現OceanStor Pacific系列創新能力的,是它的協議互通能力無需安裝任何網關或插件,每種服務都能夠提供完整的語義和性能,真正把協議互通能力做到大規模商用級別,這與當前業界存在諸多限制的網關式協議互通有本質差別。


打破性能壁壘,性能升級,一套存儲實現高帶寬和高OPS


由於架構設計的側重點不同,傳統數據存儲大都僅擅長一種性能模型。OceanStor Pacific系列通過軟硬件協同創新打破了這一性能壁壘,實現了一套存儲同時提供大文件高帶寬和小文件高OPS。

打破三重壁壘,華為OceanStor定義下一代HPC並行存儲

軟件方面,通過目錄分區、多粒度磁盤空間管理、大IO直通小IO聚合等系列技術兼顧大IO和小IO處理能力;通過新推出的DPC並行客戶端全面兼容MPI-IO和RDMA訪問,提升單流和單客戶端性能。
硬件方面,最新推出的OceanStor Pacific系列高密NVMe全閃產品, 單框支持80個Half-Palm NVMe SSD,全面支持PCIe 4.0總線和100GE網絡,消除介質和網絡瓶頸。基於軟硬件協同創新,OceanStor Pacific系列高密NVMe全閃產品在5U空間內即可為用戶提供高達144GB/s帶寬和160萬IOPS性能,從容應對多樣化性能挑戰。


打破成本壁壘,冷熱數據智能分級優化成本


針對熱數據要求高性能,冷數據要求低成本的訴求,OceanStor Pacific系列提供了智能分級能力,通過數據在SSD、HDD、藍光等不同介質間的自由流動,平衡數據的性能和成本矛盾。
OceanStor Pacific系列提供了靈活的配置策略,可實現數據由產生、歸檔到刪除的全生命週期管理,且數據的分級流動對上層應用透明,無需應用作任何改動。此外,OceanStor Pacific系列高密大容量產品在5U空間裡支持120個3.5寸硬盤,通過高密實現60%以上的機櫃空間節省,讓海量數據不再成為負擔。


OceanStor Pacific新一代高性能並行存儲,通過協議互通打破服務壁壘、軟硬協同創新打破性能壁壘、智能分級打破成本壁壘,引領HPC產業升級。
未來,HPC的應用領域將進一步拓寬,也會給存儲帶來更高的挑戰,華為將始終堅定方向,在效率、性能、成本維度持續創新,幫助用戶應對產業升級浪潮。


分享到:


相關文章: