大數據常見計算模式有批處理、圖計算、交互式計算、流計算、內存計算和MPP。
一、批處理(Batch processing)
代表產品:MapReduce
存儲體系:NoSQL、HDFS 、GFS
計算模型:MapReduce
常見計算平臺:Hadoop、 Azure、 InfoSphere
關鍵技術:HDFS、 Hive、Zookeeper等
二、圖計算(Graph Computation)
代表產品:Pregel Hama GraphLab
存儲體系:NoSQL、HDFS 、GFS
計算模型:BSP
常見計算平臺:Hadoop
關鍵技術:Superstep 圖分割 數據融匯
三、交互式計算(Interactive Computing)
代表產品:Dremel Drill PowerDrill
存儲體系:NoSQL、HDFS 、GFS
計算模型:MapReduce
常見計算平臺:Hadoop
關鍵技術:列存儲結構 Hash表
四、流計算(Stream Computing)
代表產品:Storm S4
存儲體系:HDFS 、GFS
計算模型:流計算模型
常見計算平臺:Storm S4
關鍵技術:有向非循環圖 Tuple/Bolt/Topology
五、內存計算(Memory Computing)
代表產品:Spark HANA
存儲體系:集中式存儲
計算模型:大內存計算
常見計算平臺:Spark HANA
關鍵技術:內存數據庫
六、MPP(大規模並行處理Massively Parallel Processing)
代表產品:Greenplum
存儲體系:多點存儲SQL
計算模型:NUMA
常見計算平臺:Greenplum
關鍵技術:Shared Nothing架構,數據分區與併發計算
閱讀更多 智慧加現代化 的文章