Apache Bookkeeper簡介

Apache bookkeeper是一個分佈式，可擴展，容錯（多副本），低延遲的存儲系統，其提供了高性能，高吞吐的存儲能力。Bookkeeper實現了append方式的寫操作。

Bookkeeper有一個非常成功的應用案例：apache pulsar，是近年雅虎開源的一個MQ，pulsar相對於kafka來說，在存儲上有優勢，kafka的單個partition的存儲容量受到了部署kafka的broker的硬盤容量限制，當有大量的數據需要MQ支持時，partition可能會遇到瓶頸而無法擴展。當然可以預先增加partition的數量和broker的數量來滿足MQ的存儲需求，但是當消息需要存儲的時候相對較長或者數據量非常多之後，比如存儲一個月，需要按月做數據的回拉跑計算任務，這種場景對kafka的集群來說是有非常大的浪費的，因為我們需要的是更多的存儲，不是更多了broker的能力，bookkeeper為pulsar提供了存儲計算分離的架構支持，存儲和pulsar的broker能分別擴展，這是kafka不具備的

基本概念

· Entry：Entry是存儲到bookkeeper中的一條記錄

· Ledger：可以認為ledger是用來存儲Entry的，多個Entry序列組成一個ledger

· Bookie：一個Bookie就是bookkeeper的一臺存儲服務器，用於存儲ledger，一般來說存儲的是ledger的一段，因為存儲是分佈式的，每個ledger會存儲在多個bookie上

· MetaData Storage：元數據存儲，是用於存儲bookie相關的元數據，比如bookie上有哪些ledger，bookkeeper目前使用的是zk存儲，所在在部署bookkeeper前，要先有zk集群

· 數據存儲文件與緩存：

· Journal：其實就是bookkeeper的WAL(write ahead log)，用於存bookkeeper的事務日誌，journal文件有一個最大大小，達到這個大小後會新起一個journal文件

· Entry log：存儲entry的文件，我理解ledger是一個邏輯上的概念，不同ledger中的entry會先按ledger聚合，然後寫入entry log文件中。同樣，entry log會有一個最大大小，達到最大大小後會新起一個新的entry log文件

· Index file：ledger的索引文件，ledger中的entry被寫入到了entry log文件中，索引文件用於鄧穎超entry log文件中每一個ledger做索引，記錄每個ledger在entry log中的存儲位置以及數據在entry log文件中的長度

· Ledger cache：用於緩存索引文件的，加快查找效率

· 數據落盤：內存中會存儲一個LastLogMark，其中包含txnLogId(journal文件的id)和txnLogPos(journal文件中的位置)，entry log文件和index文件都會先在內存中被緩存，當內存達到一定值或者離上一次刷盤過期了一段時間（定時線程）後，會觸發entry log文件和index文件的刷盤，之後再將LastLogMark持久化，當lastLogMark被持久化後，表示在lastLogMark之前的entry和索引都已經寫到了磁盤上，這個時候可以將lastLogMark之前的journal文件清掉，如果LastLogMark在持久化前出現了宕機，可以通過journal文件做恢復，保證了數據不丟

· Data Compaction：數據的合併，有點類似於hbase的compact過程。在bookie上，雖然entry log在刷盤前會按ledger做聚合，但是因數數據會不斷的新增，每個leadger的數據會交差存儲在entry log文件中，而bookie上有一個用於做垃圾回收的線程，該線程會將沒有關聯任何ledger的entry文件進行刪除，以便回收磁盤空間，而compaction的目的則是為了避免entry log中只有少數的記錄是有關聯的ledger的情況，不能讓這樣的entry log文件一直佔用磁盤空間，所以垃圾收集線程會將這樣的entry log中有關聯ledger的entry複製到一個新的entry log文件中（同時修改索引），然後將老的entry log文件刪除。與hbase類似，bookkeeper的compaction也分為兩種：

· Minor compaction：當entry log中有效的entry只佔20#以下時做compaction

· Major compaction：當entry log中有效的佔到80%以下時就可開始做compaction

提供的API

Bookkeeper提供了兩個層次的api：

· Ledger API：用於直接操作ledger，相對比較複雜，是bookkeeper提供的底層api

· Distributed Log：分佈式log，是基於ledger api的高層次api，相對更簡單易用

分佈式Log架構：

分佈式log api寫入的log，會以寫入相同的順序存儲在bookkeeper上：

Bookkeeper的適用場景

· WAL：bookkeeper可作為wal方案

· 流存儲：比如pulsar通過bookkeeper存儲消息

· 對象/Blob存儲