著名的 O'Reilly 公司斷言：「數據是下一個 ‘Intel Inside’ ，未來屬於利用數據並將其轉換成產品的公司和人們

大數據隱含的巨大社會、經濟價值已經引起了越來越多企業的關注，為了讓用戶獲得更便捷、靈活、高效的大數據解決方案，減少海量數據分析、處理、查詢的延遲，青雲QingCloud 基於 SparkMR 推出新一代可提供計算、存儲、分析、查詢一站式全方位的大數據服務 QingMR 。

作為 SparkMR 的升級版本，QingMR 包含了 HDFS 分佈式文件系統，Hadoop MapReduce 和 Spark 數據處理框架，YARN 集群資源調度系統和 Hive 數據倉庫工具。同時，更近一步集成了極速海量數據 OLAP 引擎 Kyligence Analytics Platform (基於 Apache Kylin)，實現海量數據極速分析及查詢功能。

PS：當前支持的組件及版本如下：

• Apache Hadoop 2.7.3

• Apache Spark 2.2.0

• Apache Hive 1.2.2

• Kyligence Analytics Platform 2.5.6

QingMR 功能特點

QingMR 在底層提供統一的 HDFS 作為數據存儲引擎，在上層提供 Spark 及與 MapReduce 兩種計算引擎，並提供 YARN 作為調度系統。用戶可以輕鬆實現三種不同的計算模式，即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之間的切換。

極速海量數據查詢

提供 PB 級數據集上的亞秒級查詢能力。

與大數據及存儲組件高可擴展性

QingMR 支持指定依賴服務的功能，即通過 AppCenter 2.0 框架內原生的應用感知機制，實現與其他大數據分析組件之間自動化的無縫集成。

QingMR 與 QingStor™ 對象存儲平臺也進行了預置集成，用戶可以通過簡單的配置即可開啟對 QingStor™ 對象存儲的支持，以應對海量大規模數據的存儲問題。

定義調度器、代理用戶等多租戶功能的支持

QingMR 提供了 Spark 及 YARN 的自定義調度器的功能，開放了自定義 Hadoop 代理用戶功能。

完善的服務級別監控

可視化展現整體服務的運行情況，提供監控告警、健康檢查和服務自動恢復等功能。

強大的AI及數據科學開發環境

提供 Python 及 R 兩種語言的運行環境，支持 Python 2 和 Python 3 互相切換。 預置了多個 Anaconda 發行版的數據科學包，為數據科學和機器學習/深度學習等 AI 開發場景。

QingMR 應用場景

流式數據處理

通過 QingMR Spark 計算引擎流數據處理能力，對企業實時數據流進行計算，滿足對實效性要求較高計算，適用於實時監控、報警分析分等場景。

批量數據處理

通過 QingMR Hadoop MapReduce 提供強大的批量數據處理能力，幫助企業解決海量文件的分析處理問題，可用於日誌分析等場景。

極速數據查詢與分析

通過 QingMR 中集成的 Kyligence Analytics Platform，減少海量數據查詢延遲，滿足企業 OLAP 場景中極速分析查詢的需求。

機器學習

基於 Spark 內存計算模型框架，利用 Mlib 提供的機器學習算法，實現個性化推薦、流失預測、精確營銷、客戶細分、客戶研究、市場細分、價值評估等應用場景。

QingMR，企業大數據服務最佳選擇

對企業來說，只需五步，即可在 3 分鐘之內部署一套 QingMR 大數據服務來滿足自身的各種需求，同時還可進行統一的數據管理，無論從成本還是效率來說，QingMR 都是企業大數據服務最佳選擇。

未來，還會有更多基於 HDFS 的大數據應用被納入到 QingMR 中，為用戶提供功能更為強大、使用更加便捷的大數據服務。

閱讀更多 青雲QingCloud 的文章

關鍵字: Hadoop Spark HDFS