Hadoop系列002-從Hadoop框架討論大數據生態

從Hadoop框架討論大數據生態

1、Hadoop是什麼

1)Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構

2)主要解決,海量數據的存儲和海量數據的分析計算問題。

3)廣義上來說,HADOOP通常是指一個更廣泛的概念——HADOOP生態圈

2、Hadoop發展歷史

1)Lucene–Doug Cutting開創的開源軟件,用java書寫代碼,實現與Google類似的全文搜索功能,它提供了全文檢索引擎的架構,包括完整的查詢引擎和索引引擎

2)2001年年底成為apache基金會的一個子項目

3)對於大數量的場景,Lucene面對與Google同樣的困難

4)學習和模仿Google解決這些問題的辦法 :微型版Nutch

5)可以說Google是hadoop的思想之源(Google在大數據方面的三篇論文)

GFS —>HDFS

Map-Reduce —>MR

BigTable —>Hbase

6)2003-2004年,Google公開了部分GFS和Mapreduce思想的細節,以此為基礎Doug Cutting等人用了2年業餘時間實現了DFS和Mapreduce機制,使Nutch性能飆升

7)2005 年Hadoop 作為 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份,Map-Reduce和Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中

8)名字來源於Doug Cutting兒子的玩具大象

9)Hadoop就此誕生並迅速發展,標誌這雲計算時代來臨

3、Hadoop三大發行版本

Apache、Cloudera、Hortonworks

1)Apache版本最原始(最基礎)的版本,對於入門學習最好。

2)Cloudera在大型互聯網企業中用的較多。

2008年成立的Cloudera是最早將Hadoop商用的公司,為合作伙伴提供Hadoop的商用解決方案,主要是包括支持、諮詢服務、培訓。

2009年Hadoop的創始人Doug Cutting也加盟Cloudera公司。Cloudera產品主要為CDH,Cloudera Manager,Cloudera Support

CDH是Cloudera的Hadoop發行版,完全開源,比Apache Hadoop在兼容性,安全性,穩定性上有所增強

Cloudera Manager是集群的軟件分發及管理監控平臺,可以在幾個小時內部署好一個Hadoop集群,並對集群的節點及服務進行實時監控。Cloudera Support即是對Hadoop的技術支持。

Cloudera的標價為每年每個節點4000美元。Cloudera開發並貢獻了可實時處理大數據的Impala項目。

3)Hortonworks文檔較好。

2011年成立的Hortonworks是雅虎與硅谷風投公司Benchmark Capital合資組建。

公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師,上述工程師均在2005年開始協助雅虎開發Hadoop,貢獻了Hadoop80%的代碼。

雅虎工程副總裁、雅虎Hadoop開發團隊負責人Eric Baldeschwieler出任Hortonworks的首席執行官。

Hortonworks的主打產品是Hortonworks Data Platform(HDP),也同樣是100%開源的產品,HDP除常見的項目外還包括了Ambari,一款開源的安裝和管理系統。需要大數據資料可以私信我

Hadoop系列002-從Hadoop框架討論大數據生態

HCatalog,一個元數據管理系統,HCatalog現已集成到Facebook開源的Hive中。Hortonworks的Stinger開創性的極大的優化了Hive項目。Hortonworks為入門提供了一個非常好的,易於使用的沙盒。

Hortonworks開發了很多增強特性並提交至核心主幹,這使得Apache Hadoop能夠在包括Window Server和Windows Azure在內的microsoft Windows平臺上本地運行。定價以集群為基礎,每10個節點每年為12500美元。

4、Hadoop的優勢

1)高可靠性:因為Hadoop假設計算元素和存儲會出現故障,因為它維護多個工作數據副本,在出現故障時可以對失敗的節點重新分佈處理。

2)高擴展性:在集群間分配任務數據,可方便的擴展數以千計的節點。

3)高效性:在MapReduce的思想下,Hadoop是並行工作的,以加快任務處理速度。

4)高容錯性:自動保存多份副本數據,並且能夠自動將失敗的任務重新分配。

5、Hadoop組成

5.1 HDFS架構概述

1)NameNode(nn):存儲文件的元數據,如文件名,文件目錄結構,文件屬性(生成時間、副本數、文件權限),以及每個文件的塊列表和塊所在的DataNode等。

2)DataNode(dn):在本地文件系統存儲文件塊數據,以及塊數據的校驗和。

3)Secondary NameNode(2nn):用來監控HDFS狀態的輔助後臺程序,每隔一段時間獲取HDFS元數據的快照。

5.2 YARN架構概述

1)ResourceManager(rm):處理客戶端請求、啟動/監控ApplicationMaster、監控NodeManager、資源分配與調度。

2)NodeManager(nm):單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令。

3)ApplicationMaster:數據切分、為應用程序申請資源,並分配給內部任務、任務監控與容錯。

4)Container:對任務運行環境的抽象,封裝了CPU、內存等多維資源以及環境變量、啟動命令等任務運行相關的信息。

5.3 MapReduce架構概述

MapReduce將計算過程分為兩個階段:Map和Reduce

1)Map階段並行處理輸入數據

2)Reduce階段對Map結果進行彙總

6、大數據技術生態體系


Hadoop系列002-從Hadoop框架討論大數據生態


7、推薦系統框架圖


Hadoop系列002-從Hadoop框架討論大數據生態



分享到:


相關文章: