HPC的應用領域持續擴張
高性能計算HPC已經有了幾十年的歷史，廣泛應用於科研教育、氣象預測、石油物探、基因測序、芯片製造等多個領域。隨著5G、IoT、AI技術的發展，HPC和大數據、AI技術融合，HPDA（High Performance DataAnalysis）、HPC-based AI等新興HPC場景開始出現，HPC的應用進一步擴展到自動駕駛、金融反欺詐、個性化醫療等領域。
當前全球最主要HPC市場在北美、歐洲、亞太及中國。IDC 預計到2021年，全球HPC存儲市場空間可達148億美金，其中新興的HPDA和HPC-based AI場景將以年化17%、29.5%的增速快速增長。
典型場景及存儲需求淺析
HPC按照業務模型可分為帶寬型、OPS型和混合型，按照業務類型可分為商用和科研。商用HPC門檻相對較高（可靠性和特性要求高），生態複雜度低；科研HPC規模大，但業務模型和生態複雜。
HPC解決方案主要由基礎硬件、HPC套件及行業應用組成，在基礎硬件領域，服務器、網絡同質化競爭嚴重，存儲成為體現方案競爭力的關鍵。業務場景不一樣，對於存儲的需求也不盡相同。下面以油氣勘探、EDA仿真、自動駕駛訓練為例，簡要分析不同類型方案對存儲的需求。
油氣勘探：
目前油氣勘探中最常使用的是“地震波”，就是用炸藥在地面激起人工地震波，通過蒐集不同形態的地質構成時形成不同的反射波數據，然後進行大量的HPC密集計算和模擬，計算結果出來後還要轉換成直觀的可視畫面，方便專家對數據進行解釋，為油氣鑽井定位提供參考。“地震波”法將產生海量的數據，一般二維數據可達1~2TB，三維數據可高達幾百TB甚至PB級。隨著全球石油儲量的不斷減少，油氣勘探變得更加困難，需要進行大量的嘗試，才能確定石油或者天然氣層的精確位置，這也就導致了數據量和數據分析需求的激增。
油氣勘探數據處理流程中，地震資料處理是典型的帶寬型場景，也是對存儲需求最大的部分，以大文件大IO併發讀寫為主，容量需求可達數十PB，性能需求可達幾十甚至上百GB/s。由於油氣勘探數據量、帶寬性能要求高，對存儲的核心訴求是高帶寬能力和更優的TCO。
油氣勘探流程
芯片設計EDA：
EDA仿真的效率，直接決定著芯片廠家的競爭力，如一顆手機CPU芯片千萬門級，需要200~300核計算資源，對應約6TB存儲，仿真過程模塊化進行，少則幾分鐘，多則幾天到一週。EDA仿真分為兩個階段，即前端的邏輯仿真和後端的物理仿真，在前端邏輯仿真環節，主要是RTL編碼和綜合優化的仿真，IO特點是KB小文件讀寫為主的OPS型業務，伴有大量的元數據操作，對文件系統的IO性能要求很高，這也是對EDA存儲挑戰最大的部分。在後端物理仿真環節，主要是網錶轉換成版圖和版圖優化的仿真，以GB級大文件寫為主，對帶寬有一定要求。
EDA仿真對存儲的核心訴求是高OPS能力，越來越多的廠商開始基於全閃存分佈式存儲方案來提供更低的時延，更高的OPS能力。
芯片設計EDA流程
自動駕駛研發：
自動駕駛分為L1-L5不同的等級，隨著自動駕駛等級的提升，要訓練的數據量會成倍增長，當前各車企多處於L2-L3等級，每車每天產生的數據量已經達到2-64TB。自動駕駛訓練流程中，數據導入和預處理主要針對大文件，是典型的帶寬型場景；AI訓練則主要針對預處理後的圖片文件進行訓練，對存儲的OPS和時延要求很高；驗證仿真屬於傳統的HPC仿真，又是典型的帶寬型場景。
除了不同階段對存儲的性能要求有差異之外，自動駕駛訓練的不同階段，使用的訪問協議也是有很大差異的，屬於典型的HPDA（HPC + HDFS大數據分析）場景，要想提升流程處理效率，需要存儲支持多種協議的互通，減少數據拷貝。
自動駕駛研發流程
目前HPC使用的存儲分為並行文件系統和通用文件系統，並行文件系統性能更好，但增值特性較少，可靠性和可維護性較差，主要應用在科研HPC領域；通用文件系統則相反，特性豐富，可靠性和可維護性更好，但性能相對差一些，主要應用在商用HPC領域。且不同的存儲有的擅長帶寬型業務，有的擅長OPS型業務，均不能很好的滿足HPC越來越複雜的性能需求，越來越高的效率需求。
新一代OceanStor分佈式存儲，融合架構應對HPC挑戰
基於HPC產業的發展趨勢需求，華為推出了新一代OceanStor分佈式存儲，以創新的融合架構來應對HPC場景的新挑戰。
協議融合
OceanStor分佈式存儲既支持私有客戶端和MPI接口，又支持標準的文件/HDFS/對象協議，且能夠實現多種協議的互通，一種協議寫入的數據可以使用另一種協議直接訪問，從而支持HPDA場景的數據快速分析。
高帶寬和高OPS融合
OceanStor分佈式存儲通過架構創新，帶寬類應用可以充分發揮多節點併發能力，OPS類應用可以實現免分佈式鎖、免轉發，附加RDMA能力的支持，一套存儲即可同時提供高帶寬和高OPS能力，無需因流程不同階段的需求不同而選擇不同的存儲。
熱溫冷生命週期融合
OceanStor分佈式存儲支持從全閃存到高密HDD的分級存儲，熱溫冷數據都可以使用最合適的介質來存儲，從而達到性能和成本的均衡。更近一步的，OceanStor分佈式存儲高達91.6%的EC利用率和重刪壓縮能力，可以為用戶提供更優的TCO。
<strong>5G和AI的時代背景下，HPC產業迎來了新的春天，新興的HPDA、AI類應用也給HPC存儲帶來了新的挑戰，華為新一代OceanStor分佈式存儲，以創新架構實現了協議融合、高帶寬和高OPS融合、熱溫冷生命週期融合，助力用戶從容應對新時代HPC的挑戰。
閱讀更多 周躍峰 的文章
