分布式利器Zookeeper(一)

Zookeeper不論是在實際項目中,還是在各種分佈式開源項目中都得到了廣泛應用,從本篇博客開始,將為大家帶來我對Zookeeper的認識。這個系列將會涵蓋Zookeeper的介紹、環境搭建、配置說明、Java操作Zookeeper(原生API方式)、zkclient操作Zookeeper方式、Zookeeper的典型應用場景分析以及Curator框架等。

Hello,Zookeeper

Zookeeper是一個高可用的分佈式管理與協調框架,基於ZAB算法(原子消息廣播協議)實現。ZK能夠很好的保證分佈式環境下的數據一致性,這一特性使得ZK是處理分佈式一致性問題的利器!這個利器有哪些特性呢,看看下面你就瞭解了。

可靠性:一旦Zookeeper成功的應用了一個事務,並完成對client的響應,那麼Zookeeper內部集群的所有服務器的狀態都會是一致的保留下來。

單一視圖:由於上面可靠性的保證,使得無論client連接的是ZK集群中的哪個服務器,所看到的數據都是一致的。

順序一致性:從一個client發起的請求,最終會嚴格的按照發起的順序被應用到Zookeeper中去。【實質上,ZK會對每一個client的每一個請求,進行編號,說白了,就是分配一個全局唯一的遞增編號,這個編號反映了所有事務操作的先後順序。】

實時性:通常意義下的實時性是指一旦事務被成功應用,那麼client會立刻從服務器端獲取到變更後的新數據。ZK僅僅能夠保證在一定時間內,client最終一定會能從服務器上獲取到最新的數據。

高可用:在ZK集群內部,會有一個Leader,多個Follower。一旦Leader掛掉,那麼ZK會通過Paxos算法選舉出新的Leader,只要ZK集群內部的服務器有一半以上正常工作,那麼ZK就能對外正常提供服務!

簡單的數據結構:類似於Linux文件系統的樹形結構,簡單,實用!(樹形層次空間)

高性能:性能有多高呢,舉個栗子,比如我們經常通過創建臨時節點來處理分佈式鎖,要知道臨時節點是存儲在內存中的,在讀場景壓力測試下,QPS高達10W+!也就是說ZK在讀場景下,性能非常突出!

初步認識Zookeeper的數據模型

分佈式利器Zookeeper(一)

Znode Tree

每一個節點被稱為znode,znode可以有子節點目錄,並且每個znode可以存儲數據(特別需要注意的是臨時節點不可以有子節點)

znode如果是臨時節點,意味著創建這個znode的client一旦與ZK集群失去聯繫,這個臨時的znode將被自動刪除。(事實上,client與ZK通信是採用長連接方式,並通過心跳的方式保持連接,這種狀態就是session,一旦session失效,就是連接斷開,臨時節點會被刪除掉)

znode是可以被監控的,不論是znode本身的數據變化,還是該znode下的子節點的變化,都可以進行監控,這也是ZK的核心特性。(很多應用場景就是基於這個特性,後續進行詳細介紹)

初步認識Zookeeper的角色組成

分佈式利器Zookeeper(一)

ZK集群的角色組成

這裡,我們先了解下ZK Server的身份特性:

Leader:負責客戶端的write類型的請求

Follower:負責客戶端的read類型請求,並可以參與Leader的選舉

watcher:後文介紹。

install Zookeeper

這裡以zookeeper-3.4.5版本為例,搭建一個ZK集群(至少要求3個節點,並且各個ZK SERVER之間系統時間保持一致)。使用的機器列表是:192.168.99.121、192.168.99.122、192.168.99.123。

以192.168.99.121為例進行說明:

分佈式利器Zookeeper(一)

解壓

分佈式利器Zookeeper(一)

/etc/profile中配置ZK環境變量(注意source下)

分佈式利器Zookeeper(一)

zoo.cfg

分佈式利器Zookeeper(一)

創建ZK數據目錄

分佈式利器Zookeeper(一)

myid

配置說明:

tickTime:ZK集群與客戶端、ZK集群內部SERVER之間的心跳間隔,默認2S。

initLimit:在客戶端連接ZK集群時,可以忍受多少個心跳次數。上述的配置表明,如果client初始連接ZK集群,在10*2S=20S內ZK集群沒有返回連接成功,即意味著連接失敗。

syncLimit:表示ZK集群內部Leader和Follower之間請求應答可以忍受多少個心跳次數。

dataDir:ZK保存數據以及日誌的目錄。

clientPort:ZK集群對外暴露的接口,即client訪問ZK集群的端口(2181)。

server.x = IP:port-a:port-b

X表示是第幾號服務器,從0開始編號,並和dataDir下的myid文件對應。

port-a表示Leader和Follower進行信息通信的端口(2888)。

port-b表示Follower進行選舉的端口(3888)。

分佈式利器Zookeeper(一)

分別啟動ZK

分佈式利器Zookeeper(一)

查看ZK身份

分佈式利器Zookeeper(一)

搭建的ZK集群

基本的ZK命令

分佈式利器Zookeeper(一)

ls/create/get/set

通過zkCli.sh進入客戶端進行操作:

查找ls、創建znode節點create(注意每個節點都是有值的)、獲取get、設置set。

我們觀察下下面幾個屬性:

ctime和cZxid是一對,表示創建ZNODE的時間和事件編號;

mtime和mZxid是一對,表示修改ZNODE數據內容的時間和事件編號;(通過set指令會改變這2個屬性,但是該節點的子節點的變化不會影響該節點)

dataVersion:表示ZNODE數據的版本,注意利用JAVA 原生API進行delete ZNODE時,需要提供version才可以刪除ZNODE。(當然我們可以提供-1來跳過版本檢查機制)

dataLength、numChildren都好理解。

另外,注意rmr指令可以遞歸刪除ZNODE;而delete只可以刪除指定ZNODE。

ZooInspector工具及IntelliJ IDEA與ZK集成

分佈式利器Zookeeper(一)

ZooInspector工具

ZooInspector是一個可運行的JAR,運行後直接連接ZK集群中的任何一個SERVER即可。

分佈式利器Zookeeper(一)

安裝ZK插件

分佈式利器Zookeeper(一)

配置ZK插件並啟用

分佈式利器Zookeeper(一)

ZK視圖

OK,到這裡,一切準備工作就緒了,晚安吧~

咱們下期來看JAVA操作ZK(基於Zookeeper的原生API)、分佈式鎖場景、Watch特性等~

鏈接:https://www.jianshu.com/p/3dfd63811e20


分享到:


相關文章: