大數據常見的計算模式

大數據常見的計算模式


大數據常見計算模式有批處理、圖計算、交互式計算、流計算、內存計算和MPP。

一、批處理(Batch processing)

代表產品:MapReduce

存儲體系:NoSQL、HDFS 、GFS

計算模型:MapReduce

常見計算平臺:Hadoop、 Azure、 InfoSphere

關鍵技術:HDFS、 Hive、Zookeeper等


二、圖計算(Graph Computation)


代表產品:Pregel Hama GraphLab

存儲體系:NoSQL、HDFS 、GFS

計算模型:BSP

常見計算平臺:Hadoop

關鍵技術:Superstep 圖分割 數據融匯


三、交互式計算(Interactive Computing)

代表產品:Dremel Drill PowerDrill

存儲體系:NoSQL、HDFS 、GFS

計算模型:MapReduce

常見計算平臺:Hadoop

關鍵技術:列存儲結構 Hash表

四、流計算(Stream Computing)


代表產品:Storm S4

存儲體系:HDFS 、GFS

計算模型:流計算模型

常見計算平臺:Storm S4

關鍵技術:有向非循環圖 Tuple/Bolt/Topology

五、內存計算(Memory Computing)


代表產品:Spark HANA

存儲體系:集中式存儲

計算模型:大內存計算

常見計算平臺:Spark HANA

關鍵技術:內存數據庫

六、MPP(大規模並行處理Massively Parallel Processing)

代表產品:Greenplum

存儲體系:多點存儲SQL

計算模型:NUMA

常見計算平臺:Greenplum

關鍵技術:Shared Nothing架構,數據分區與併發計算


分享到:


相關文章: