隨著雲原生技術的加速普及，Kubernetes逐漸成為IT技術架構的基石，並推動著各行業技術架構的轉型升級。在《InfoQ 編輯部開年聊聊2020 年值得關注的十大技術趨勢》報道中，寫到其中一個趨勢是容器化加速席捲大數據基礎架構。
今天，我們就分享下金山雲容器引擎在大數據平臺的應用實踐。
大數據平臺擁抱Kubernetes 金山雲容器引擎應需而生
眾所周知，Hadoop的出現加速大數據技術的應用推廣，隨著應用場景的不斷豐富，近幾年也湧現出多款優秀的計算框架，如Spark、Flink等。此前在大數據分佈式調度平臺中，大家普遍採用是Yarn，但是隨著應用場景豐富和規模擴大，平臺逐漸暴露出一些問題，如資源隔離限制較弱、監控信息不完善、彈性擴展能力弱、GPU支持不足等。
隨著容器化的快速發展，大數據原有的Hadoop Yarn分佈式任務調度模式，正在被基於Kubernetes的技術架構所取代。容器憑藉輕量秒級部署、一次構建、處處運行的巨大優勢，推動了快捷、自動化的工作流程，同時Kubernetes提供的強大編排能力以及蓬勃發展的社區生態，為大數據容器化提供了便捷的平臺。
大數據系統原生支持on Kubernetes，例如Spark 從官方2.3版本開始就可以無需任何修改直接運行在 Kubernetes 上，這是一個里程碑式的事件，表明了未來技術架構的發展方向。
容器引擎是金山雲推出的Kubernetes服務產品，基於原生的Kubernetes進行開發和適配，無縫融合了金山雲生態的其他基礎資源和產品服務。
目前，金山雲容器引擎覆蓋主流應用的多版本Kubernetes，支持一鍵式創建，多可用區高可用部署，同時提供舊版本的一鍵升級功能，持續保護用戶資產;集成雲平臺能力，如網絡方案(Flannel和Canal)、持久化存儲(塊存儲和文件存儲)、安全(多租戶隔離和主機加固)等;鏡像倉庫支持對Docker hub、gcr.io鏡像加速，高速內網下載鏡像，11個9的可靠性保證;在控制檯支持Kubernetes 的軟件包管理工具Helm，提供金山雲官方Helm Chart，支持在線可視化部署Helm應用。
此外，金山雲容器引擎大幅降低了Kubernetes的使用門檻和綜合成本，讓用戶開發團隊更專注自身業務。
統一管理、彈性伸縮 為用戶創造更多價值
由於大數據應用的複雜性，會使用多種類型的機型作為Work節點，如利用雲主機應對快速的流量擴容、利用雲物理服務器提供無性能損耗能力、利用雲GPU服務器的大規模線程和高速計算力優勢等等，來滿足計算的需求。
金山雲容器引擎提供混合集群的統一管理服務，在一個集群可以實現多種類型節點的統一管理，通過Label的設置可以實現對整體資源的統一調度部署，避免了多個集群的使用，一方面大幅降低了使用成本，另一方面有效提升管理效率。
大數據業務對計算的需求是動態的，並且波動較大，金山雲容器引擎支持Cluster AutoScaler實現集群工作節點的彈性伸縮，節省開支。目前，金山雲容器引擎本身免費對外提供使用，同時提供免費的企業級容器鏡像倉庫服務，用戶僅需支付所使用資源的費用，工作節點支持預付費包年包月、按日配置付費、按小時配置計費等靈活的計費策略選擇。
整體框架圖
大數據雲平臺利用容器引擎集群、雲物理機集群、雲服務器集群構建大數據控制平臺和共享服務資源池，為用戶提供租戶隔離、安全可靠的大數據託管服務。
大數據平臺在容器引擎的部署方案如上圖所示：
1、在endpoint容器引擎集群中部署微服務架構，如：數據管理(元數據管理、數據權限、數據質量、數據地圖等)、數據服務、數據採集，共享的組件mysql ,redis等基礎服務。
2、在online/offline容器引擎集群中部署的大數據組hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等，目前hive、hbase等用的是HDFS存儲，而zookeeper、ElasticSearch、kafka用的是NFS、KS3存儲。
目前，金山雲大數據平臺已使用容器引擎平臺部署在線和離線的業務，支持海量數據處理，在整個過程雙方團隊積累了豐富的大數據使用經驗，持續在spark on kubernetes的動態資源、kube-scheduler調度策略等方面進行優化，升級產品功能，並賦能更廣泛的大數據相關用戶，為用戶創造更多價值。
作為CNCF基金會黃金會員之一，金山雲致力於推動基於容器技術的雲原生產品方案落地實踐。目前，金山雲已通過CNCF Kubernetes服務提供商認證，容器引擎已通過CNCF Kubernetes一致性認證以及可信雲容器解決方案認證和可信雲Kubernetes認證。此外，金山雲擁有CNCF CKA、CKAD認證的高級技術專家團隊，為用戶提供專業的產品和服務支持。
欲瞭解更多詳細，歡迎點擊(金山雲容器引擎：https://www.ksyun.com/post/product/KCE.html)
閱讀更多 中國企業家日報 的文章
