Dell EMC流數據平臺的技術構建

根據IDC發佈的《2017-2021全球存儲大數據和分析預測》報告顯示

為了應對日益增長的流數據挑戰，戴爾科技集團日前宣佈，通過提供Dell EMC流數據平臺來幫助用戶解決流數據處理難題。今天，我們就來講講Dell EMC流數據平臺的技術構建。

Dell EMC流數據平臺的技術構建

Dell EMC流數據平臺以Pravega和Flink為基礎，加入企業特性而構建。它的低延時的實時處理能力可以讓企業用戶從已有的數據集中產生新的商業模式，帶來新的經濟效益。

Pravega和Flink結合各自在實時數據、歷史數據上存儲和計算的優勢，在保障極高存儲效率的同時，還能夠進一步降低企業在數據存儲和運維的成本。

Pravega

Pravega是戴爾科技集團從零開始構建的存儲系統，取梵語中“Good Speed”之意，用於存儲和分析來自各種物聯網終端的大量數據，其設計宗旨是成為流的實時存儲解決方案。

Pravega能夠應對瞬時的數據洪峰，做到“削峰填谷”，讓系統自動地伴隨數據到達速率的變化而伸縮，既能夠在數據峰值時進行擴容提升瞬時處理能力，又能在數據谷值時進行縮容節省運行成本，而讀寫客戶端無需額外進行調整。這一特性不僅非常適合邊緣應用場景，對企業也尤其重要，Devops開銷在企業中都會被歸入產品TCO , 所以產品自身的動態自適應能力將會是必備條件。

並且，Pravega從設計之初就是雲原生應用，可以在各大公有/私有云平臺上進行部署和運行。

• 它的組件都是以低耦合的微服務形式存在，通過運行多個服務實例保證高可用性。

• 每個服務實例運行於單獨的容器中，使用容器實現服務的相互隔離。

• 可以使用容器編排工具（如Kubernetes）進行統一的服務發現、治理和編排，提高資源利用率，降低運營成本。

Flink

而Apache Flink是一個框架和分佈式處理引擎，用於在無邊界和有邊界數據流上進行有狀態的計算。Flink能在所有常見集群環境中運行，並能以內存速度和任意規模進行計算，因此得到了國內外的廣泛認可和採用，是時下最流行的開源技術之一。

重要回顧

2019年，戴爾科技集團作為金牌贊助商的身份參加了 Flink Forward Asia（以下簡稱“FFA”）大會，並派出核心研發團隊的領導和成員，通過主題演講、分會場講座等形式講述戴爾科技的流式數據存儲解決方案：Pravega，以及在此之上結合Flink打造批流一體的流數據平臺。

關於FFA：

Flink Forward是由Apache官方授權的會議，Flink Forward最早舉辦於歐洲，而後擴展到北美。2018年12月在北京舉辦了第一屆Flink Forward China，2019年，Flink Forward China正式升級為 Flink Forward Asia，是目前規模最大、參與人數最多的 Flink Forward 大會。

大會上，戴爾科技集團副總裁Srikanth Satya，以及軟件開發總監滕昱上臺演講，闡述Pravega流式存儲在流式數據計算中的重要角色，結合流式存儲與流式計算平臺的流式數據平臺將在未來企業級應用發揮重要作用。

▲戴爾科技集團副總裁Srikanth Satya

▲戴爾科技集團軟件開發總監滕昱

此外，戴爾科技集團資深卓越工程師，同時也是Apache首席成員之一，Apache Zookeeper和Pravega最初原作者的Flavio Junqueira也參加了本次大會，並對Pravega進行更為詳細的技術闡述。

▲戴爾科技集團資深卓越工程師 Flavio Junqueira

Flavio從Pravega整體架構的設計出發，介紹了Pravega的exactly once語義以及自動擴展等特性。在技術分享中，Flavio還介紹了Flink Connector。

Flink Connector是用來幫助Flink應用程序讀寫Pravega Stream的工具，它降低了Flink開發者使用Pravega的難度，讓開發者可以更多地專注於計算業務邏輯。通過Flink Connector，開發者一方面把Pravega作為流式存儲系統和消息總線，另一方面把Flink作為流式數據計算單元，從而構造出一個端到端的流式數據處理管道。

統一數據處理是一個充滿挑戰的領域，通過Pravega與Flink相結合的企業級解決方案，可以徹底簡化現有數據分析架構的複雜性，以及數據冗餘，缺少可靠持久等問題，

技術之所以在不斷髮展，就是因為現有技術不能滿足現有應用的需求。作為致力於轉變業務模式，塑造創新未來，並開發技術推動人類進步的科技企業，戴爾科技集團會繼續為推動人類進步的前沿科技領域，做出自己的一份貢獻。

閱讀更多 戴爾中國 的文章

關鍵字: 平臺 DevOps 物聯網