淺談:Hadoop、spark、SaaS、PaaS、IaaS、雲計算

Hadoop & Spark

首先二者均不是屬於產品類別,理解為生態系統或者也有人將其稱為“大數據通用處理平臺”也是可以的,這種稱呼也更為準確

Hadoop是由Apache基金會所開發的分佈式系統基礎架構

Hadoop主要包括:

Hadoop分佈式文件系統:一個分佈式的、面向塊的、不可更新的、高度伸縮性的、可運行在集群中普通硬盤上的文件系統

MapReduce框架:一個基本的在集群中一組標準硬件上執行的分佈式計算框架

YARN :Hadoop生態集群中默認的資源管理器

Hive :構建在MapReduce框架之上的類SQL查詢引擎

Hbase:基於HDFS的鍵值對存儲系統為Hadoop提供了聯機事務處理(OLTP)能力

圖片參自:中國大數據

Spark而言是專為大規模數據處理而設計的快速通用的計算引擎,實際上現階段其還不夠成熟

Spark主要包括:

Spark Core :用於通用分佈式數據處理的引擎

Spark Sql :運行在Spark上的SQL查詢語句支持一系列SQL函數和HiveQL

Spark Streaming:基於spark的微批處理引擎

MLib:構建在spark之上的機器學習庫

圖片參自:中國大數據

三劍客:IaaS 、PaaS、SaaS

其實就是雲計算的三類分層服務:

基礎設施在最下端:Infrastructure-as-a-Service(IaaS)

平臺在中間:Platform-as-a-Service(PaaS)

軟件在頂端:Software-as-a-Service(SaaS)

IaaS :Infrastructure as a Service

基礎設施即服務

把計算基礎(服務器、網絡技術、存儲和數據中心空間)作為一項服務提供給客戶。它也包括提供操作系統和虛擬化技術、來管理資源。消費者通過Internet可以從完善的計算機基礎設施獲得服務。

PaaS:Platform as a Service

平臺即服務

PaaS實際上是指將軟件研發的平臺作為一種服務,供應商提供超過基礎設施的服務,一個作為軟件開發和運行環境的整套解決方案,即以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應用。但是,PaaS的出現可以加快SaaS的發展,尤其是加快SaaS應用的開發速度。

SaaS:Software as a Service

軟件即服務

是一種交付模式,其中應用作為一項服務託管,通過Internet提供給用戶;幫助客戶更好地管理它們的IT項目和服務、確保它們IT應用的質量和性能,監控它們的在線業務。

雲計算:Cloud Computing

當需要的時候,扭開水龍頭,水就來了,我只需要操心交水費就是了!

當你需要用一個軟件時,你不用跑去電腦城,打開應用商店,它就下載下來了,你只需要交錢就是了;

當你想看報紙的時候,你不用跑去報刊亭,只要打開頭條新聞,新聞唾手可得;

當你想看書的時候,你不用跑去書城,只需要打開閱讀軟件,找到這樣的一本書,在手機上閱讀;

當你想聽音樂的時候,你不用再跑去音像店苦苦找尋CD光碟,打開音樂軟件,就能聆聽音樂;

雲計算,像在每個不同地區開設不同的自來水公司,沒有地域限制,優秀的雲軟件服務商,向世界每個角落提供軟件服務——就像天空上的雲一樣,不論你身處何方,只要你抬頭,就能看見!

“雲計算”的五大特點:

1.大規模、分佈式 2.虛擬化 3.高可用性和擴展性 4.按需服務,更加經濟 5.安全

“雲計算”已經深深植入到我們生活中的點點滴滴,平時常用的那些APP或網站,基本都離不開“雲計算”作為背後的強大服務和技術支持,如剁手黨愛恨交加的淘寶、京東,社交痴迷黨的微信、微博等等。於此同時,越來越多的企業機構乃至政務部門,開始使用基於雲的平臺服務,生活因“雲計算”正在發生著革命性的變革和改變!