「深度觀察」5G時代,數據基礎設施全雲化、全分佈式化的踐行者

5G進入規模部署階段,帶來無限可能

2019年,全球5G建設如火如荼,全球幾十家Top國家或國際化電信運營商紛紛宣佈5G商用,其中包含Vodafone、T-Mobile、TIM、Ooredoo等。在國內,2019年10月31日,中國移動、中國電信和中國聯通三大運營商公佈5G商用套餐,並於11月1日正式商用,運營商用實際行動向世人宣告5G時代的到來。

5G的到來正讓萬物互聯變得可能,並加速全新的商業模式和更創新的應用出現,讓通信從滿足人們的溝通交流逐步深入到垂直行業。

運營商IT基礎設施的變化與挑戰

從前端業務的角度,5G的“超高帶寬”、“超低時延”和“全連接覆蓋”意味著數據通道變寬、流動速度變快(下行峰值速度可達20Gbps)、接入更多。從後端ICT支撐平臺來看,5G帶來新的數據量和數據類型,給運營商的支撐系統帶來全新的變化:

  • 數據量爆發:按GSMA預測,5G時代,IoT用戶數年增長68%,用戶DOU年增長24%,導致計費話單量年增長超過32.8%,到2024年,運營商計費系統數據量增長將達到6.5倍。5G採用高頻段,基站數量是4G的3-6倍,O域網絡數據同比增長。同時視頻業務從高清轉向超高清、從視頻轉向視覺業務,4K、8K、雲遊戲、AR/VR促使數據量爆發增長10倍以上。
  • 業務壓力劇增:數據量的增長,要求IT系統處理效率同比增長,比如當前日結報表,運營商普遍要求在8小時內處理完畢,但數據量成倍增長情況下,現有IT系統將無法滿足出賬時間要求,因此要求IT系統具有更高的併發處理能力,及更低的處理時延。

在5G到來的前夜, 運營商就已經將“雲+大數據”定義為未來的重要方向,如今回過頭看,無疑有先見之明。運營商近幾年持續推進BOM域整合雲化、NFVI雲化,來應對業務和數據的增長,並建設各類大數據平臺,逐步積累核心數據用於分析決策。在核心架構已經實現網絡雲資源池化、計算雲資源池化之後,作為數據處理的重要一環,存儲系統需要為這種變革提供更靈活、高可用、高擴展和開放的存儲服務。

如何構建適用於5G業務的新型存儲系統?

我們從雲和大數據業務兩個方向來簡要分析5G時代更適合運營商的存儲建設方式。

BSS/OSS/MSS/B2B/NFVI多域存儲資源池化,提升運維效率和資源利用

南方某電信運營商2018年每月計費清單已接近5500億條,每月訂單10億筆,物聯網聯接數接近1億。隨著5G商用到來,用戶終端數預計增長將達3倍,而月話單數將超過10倍增長。這就需要存儲系統在容量、性能方面呈現相應的彈性按需擴展能力與之匹配。

而傳統的存儲系統建設方式帶來大量數據煙囪、資源無法快速擴展、數據共享互通困難等問題,在快速的業務變化面前,存儲開始顯得“捉襟見肘”:

  • 數據有孤島:傳統“煙囪式”建設,上一套業務部署一套存儲,系統間數據不能共享,成為制約雲資源池建設的短板。
  • 存儲利用率低:各業務部門習慣把資源一次性“圈地”,導致表面上看起來存儲資源都分配完了,但實際上各個業務系統的存儲利用率很低,通常不足50%。
  • 性能有瓶頸:以前的存儲設備只需滿足單個業務需求,系統的業務忙時、熱點性能需求、數據讀寫習慣基本固定。但幾十上百套不同負載的業務共用存儲,業務性能模型多樣,存儲資源難以匹配需求。

2014年,華為OceanStor分佈式存儲系統開始在運營商雲平臺中逐步應用,應用場景從最初的開發測試、桌面雲,直至現在的B域、O域、M域、B2B業務的雲化全面推進,實現數百PB級大規模商用部署,併為5G的海量數據存儲處理打下基礎。這得益於其如下架構優勢:

  • 大集群消除孤島:OceanStor分佈式存儲採用大資源池設計,單集群可支持數千節點擴展;數據和讀寫I/0打散分佈在集群內的所有硬件上,消除性能瓶頸和數據孤島。
  • 高可用:隨著分佈式存儲雙活、複製等增值特性不斷完善,其在部分場景下的高可用指標已經可以達到傳統存儲的水平,支持多域數百種業務混合負載無憂。
  • 高性能:基於軟硬一體的架構可提供最佳的性能調優,結合Kunpeng處理器的算法卸載和AI Fabric無損網絡,可達到16.8萬IOPS@1ms時延,支撐高性能業務運行。
  • 按需靈活擴展:資源不足時,直接增加新的標準硬件節點,實現容量與性能的線性提升。

電信運營商雲化改造如火如荼並初見成效。例如,中國電信浙江公司在集團內率先完成BOM域關鍵業務平臺雲化,目前這個比例已經超過95%,實現總擁有成本降低30%。2019年12月9日,中國移動浙江公司IT系統最後一臺小型機完成斷網操作,完成235臺小型機業務的雲化遷移,遷移至雲平臺的應用運行穩定,其IT系統邁入全雲化、分佈式化時代,同時實現採購成本和運維成本的大幅降低。

融合大數據分析,存算分離助力實現5G時代精準運營、降本增效

隨著雲計算、物聯網、5G部署、虛擬現實、人工智能等技術發展與應用,運營商移動終端連接數量呈倍增長,傳統Hadoop大數據計算與存儲一體的基礎架構採用多副本冗餘技術,讓採購成本與機房空間成本居高不下,使得這種架構的實用性變差,面臨以下挑戰:

  • 資源閒置:一體化建設在擴容時計算與存儲是等比例的,當同一時期算力與容量需求不一致時,存在計算或存儲資源的浪費。
  • 利用率低:傳統Hadoop使用3副本冗餘,1份數據需要存3份,存儲空間利用率不足33%。
  • 煙囪化建設:一個集群只支持一個文件命名空間(NameSpace),即一個業務需要搭建一套系統,形成多個大數據煙囪,讓提升資源利用率變得更加困難。
  • 性能瓶頸:Hadoop集中式元數據管理(主備NameNode),文件數量增多時,存在性能瓶頸。

運營商亟需新的Hadoop集群架構,以滿足數據增長需求的同時,又能避免資源浪費,使計算資源和存儲資源發揮最大的效能,匹配業務發展,降低大數據建設成本。2019年華為推出了大數據存算分離解決方案,幫助運營商大數據業務實現降本增效。

「深度觀察」5G時代,數據基礎設施全雲化、全分佈式化的踐行者

大數據計算存儲方案架構演進

相比傳統建設模式,華為大數據存算分離方案有哪些價值呢?下面來看一下

  • 精準投資:分析平臺與存儲平臺解耦,資源可獨立擴容,計算資源不足擴計算,存儲資源不足擴存儲。
  • 提升存儲利用率:提供彈性EC冗餘算法替換3副本,將存儲空間利用率從不足33%提升到80%以上,相同硬件投資可以成倍增加可使用容量。
  • 大數據雲化:計算和存儲分離後,計算資源可部署在雲平臺上,實現雲化和服務化,提升資源發放效率。
  • 資源共享:統一資源池提供多個命名空間,支持多個業務按照租戶等方式共同使用資源池,通過QoS等存儲特性保障各業務資源使用。
  • 支持更大數據集:採用分佈式元數據管理,不存在集中元數據帶來的性能瓶頸。

目前,華為大數據存算分離方案已經陸續落地運營商日誌留存、經營分析系統,例如中國移動某省級公司聯合華為,將經營分析系統基於大數據計算存儲分離方案進行擴容,通過OceanStor分佈式存儲的原生HDFS接入現網,實現新舊大數據分析平臺共存,0數據遷移;並結合彈性EC降低OPEX超過40%。除了日誌留存和經營分析外,網規網優、詳單查詢等業務場景,大數據存算分離未來也大有可為。

5G影響著運營商數據基礎設施的變化趨勢:持續推進雲化和分佈式化,是主流電信運營商普遍認可的演進方向;基於存算分離的架構進行大數據分析平臺建設和改造,降低總擁有成本也是大勢所趨。這些變化,將同移動通信技術的演進相輔相成,共同加速了電信運營商行業的發展進程。


分享到:


相關文章: