扣丁學堂大數據開發淺談如何區分Hive與HBase

扣丁学堂大数据开发浅谈如何区分Hive与HBase

今天扣丁學堂大數據培訓老師給大家介紹一下關於剛接觸大數據的用戶來說,要想區分Hive與HBase是有一定難度的。下面是扣丁學堂小編給大家整理的關於從其各自的定義、特點、限制、應用場景等角度來進行分析,以幫助大家更好的理解、區分Hive和HBase。

扣丁学堂大数据开发浅谈如何区分Hive与HBase

Hive是什麼?

ApacheHive是一個構建於Hadoop(分佈式系統基礎架構)頂層的數據倉庫,注意這裡不是數據庫。Hive可以看作是用戶編程接口,它本身不存儲和計算數據;它依賴於HDFS(Hadoop分佈式文件系統)和MapReduce(一種編程模型,映射與化簡;用於大數據並行運算)。其對HDFS的操作類似於SQL—名為HiveQL,簡稱HQL,它提供了豐富的SQL查詢方式來分析存儲在HDFS中的數據;HQL經過編譯轉MapReduce作業後通過自己的SQL去查詢分析需要的內容;這樣一來,即使不熟悉MapReduce的用戶也可以很方便地利用SQL語言查詢、彙總、分析數據,降低學習成本,提高工作效率。而MapReduce開發人員可以把己寫的mapper和reducer作為插件來支持Hive做更復雜的數據分析。

HBase是什麼?

ApacheHBase是運行於HDFS頂層的NoSQL(NotOnlySQL,泛指非關係型的數據庫)數據庫系統。區別於Hive,HBase具備隨即讀寫功能,是一種面向列的數據庫。HBase以表的形式存儲數據,表由行和列組成,列劃分為若干個列簇(rowfamily)。例如:一個消息列簇包含了發送者、接受者、發送日期、消息標題以及消息內容。每一對鍵值在HBase會被定義為一個Cell,其中,鍵由row-key(行鍵),列簇,列,時間戳構成。而在HBase中每一行代表由行鍵標識的鍵值映射組合。Hbase目標主要依靠橫向擴展,通過不斷增加廉價的商用服務器,來增加計算和存儲能力。

特性

遵從JDBC的Hive不但可以讓具SQL知識的用戶來間接執行MapReduce作業,同時裡面也整合了目前基於SQL的操作工具。不過,由於默認的數據讀取是全表遍歷的,其時間的耗費也不可避免地相對較大。儘管如此,不盡相同的Hive分區方法,其遍歷讀取的數據量也是能夠有所限制的。Hive分區允許對存儲在獨立文件上的數據進行篩選查詢,返回的是篩選後的數據。例如針對日期的日誌文件訪問,前提是該類文件的文件名包含日期信息。

HBase以鍵值對的形式儲存數據。其包含了4種主要的數據操作方式:

1.添加或更新數據行

2.掃描獲取某範圍內的cells

3.為某一具體數據行返回對應的cells

4.從數據表中刪除數據行/列,或列的描述信息

列信息可用於獲取數據變動前的取值(透過HBase壓縮策略可以刪除列信息歷史記錄來釋放存儲空間)。

限制

Hive不支持常規的SQL更新語句,如:數據插入,更新,刪除。因為其對數據的操作是針對整個數據表的。同時該特點也使得數據查詢用時以數分鐘甚至數小時來進行計算。此外,其MapReduce轉換過程必須遵從預定義的轉換規則。

HBase的數據查詢是有一套屬於自己類似SQL的操作語言的,這個需要一定的學習來掌握。此外,要運行HBase,ZooKeeper是需要配備的。ZooKeeper是一個針對大型分佈式系統的可靠協調系統,提供的功能包括:配置維護、名字服務、分佈式同步、組服務等。

應用舉例

Hive適用於離線網絡日誌等數據量大、靜態的數據查詢。例如:用戶消費行為記錄,網站訪問足跡等。但是不適用於聯機實時在線查詢的場合。

HBase能在大數據聯機實時查詢場合大展身手。例如:Fackbook就利用其對用戶間的傳送的消息進行聯機實時分析。

以上就是關於扣丁學堂大數據培訓之區分Hive與HBase的詳細介紹,希望對大家學習大數據開發有所幫助,最後扣丁學堂在線為零基礎學員提供從入門到精通學習路線圖,包含Linux&&Hadoop生態體系、大數據計算框架體系、雲計算體系、機器學習&&深度學習等內容,扣丁學堂大數據學習群:209080834。

標籤: 大數據培訓 大數據視頻教程 大數據分析培訓 大數據學習視頻 Hadoop生態圈


分享到:


相關文章: