網際網路與大數據:淺談大數據與雲計算,大數據逐步「雲」化

大數據逐步“雲”化

在雲計算時代背景下,數據中心需要向集中大規模共享平臺推進,並且,數據中心要能實現實時動態擴容,實現自助和自動部署服務。

從中長期來看,數據中心需要逐漸過渡到“雲基礎架構為主流企業所採用,專有架構為關鍵應用所採用”階段,並最終實現“強壯的雲架構為所有負載所採用”,無論大型機還是x86都融入到雲端,實現軟硬件資源的高度整合。

互聯網與大數據:淺談大數據與雲計算,大數據逐步“雲”化

數據中心逐步過渡到“雲”,這既包括私有云又包括公有云。私有云,就是對企業現有的數據中心進行改造和架構調整,通過雲計算對資源進行自動調度和分配,實現一個自動部署、自動管理和自動運維的數據中心架構。而公有云則是由服務商建立IT基礎架構,並向外部用戶提供商業服務,而用戶可以在不擁有云計算資源的條件下通過網絡訪問這些服務。與私有云相比,公有云的所有應用程序、服務和數據都存放在雲端,用戶數據也並不存放在企業內部數據中心。

正所謂“梅雖遜雪三分白,雪卻輸梅一段香”,相比之下,私有云會比公有云在數據安全性方面有更好的表現,但公有云卻會比私有云有更“強壯的雲架構”。因此,從數據中心演進的角度來看,討論何種“雲”並無實質意義,我們更應該重視的是數據中心在未來發展中所扮演的角色和出現的歷史性變革。

互聯網與大數據:淺談大數據與雲計算,大數據逐步“雲”化

大數據與雲計算

移動互聯網等是大數據的來源,而大數據分析則是為和移動互聯網提供有用的分析,獲取價值。雲計算又與大數據有什麼關係呢?這個問題其實早在2011年,就有人分析,例如EMC World 2011的大會主題就是“當雲計算遇見大數據”。

雲計算與大數據兩者之間有很多的交集,業界主要做雲的公司有谷歌、亞馬遜等都擁有大量大數據。EMC總裁基辛格強調大數據應用必須在雲設施上跑,這就是兩者的關係——大數據離不開雲。同時,支撐大數據以及雲計算的底層原則是一樣的,即規模化、自動化、資源配置、自愈性,這些都是底層的技術原則。因此基辛格認為大數據和雲之間存在很多合力的地方。

互聯網與大數據:淺談大數據與雲計算,大數據逐步“雲”化

另一方面,隨著互聯網信息量的激增,用戶單個數據集達到數以TB計,有的客戶甚至已達到Pera級了,用現有的存儲系統結構處理數據量級較小,而且只能處理單一數據源數據,面對大數據的壓力。在處理大量級以及多數據源的數據能力非常弱。這也就是為什麼EMC收購Greenplum,支持開源的Hadoop計劃的目的所在。基辛格很明白,大數據的挑戰不僅僅在於存儲和保護,數據分析能力的強弱,將成為這個時代的關鍵點:我們已經解決了數據存儲和保護的問題,所需要的只是時間,但是海量數據分析的問題,我們還沒有在大數據到來時做好準備。

談到大數據的特點,一是數據規模是PB級,二是多數據源,能夠把半結構化、非結構化和結構化的數據很好地融合起來。同時具有實時、可迭代的特點。具體形容就是大數據環境類似於Facebook環境,隨時可以添加變量。基辛格一再的支出,數據分析的歷史已有30年,現在我們已進入大數據時代。


分享到:


相關文章: