09.24 為什麼MySQL索引要用B+樹,而不是B樹?

一個面試題:InnoDB 一棵 B+ 樹可以存放多少行數據?這個問題的簡單回答是:約 2 千萬。


為什麼MySQL索引要用B+樹,而不是B樹?


圖片來自 Pexels

為什麼是這麼多呢?因為這是可以算出來的,要搞清楚這個問題,我們先從 InnoDB 索引數據結構、數據組織方式說起。

我們都知道計算機在存儲數據的時候,有最小存儲單元,這就好比我們今天進行現金的流通最小單位是一毛。

在計算機中磁盤存儲數據最小單元是扇區,一個扇區的大小是 512 字節,而文件系統(例如 XFS/EXT4)他的最小單元是塊,一個塊的大小是 4K。

而對於我們的 InnoDB 存儲引擎也有自己的最小儲存單元——頁(Page),一個頁的大小是 16K。

下面幾張圖可以幫你理解最小存儲單元,文件系統中一個文件大小隻有 1 個字節,但不得不佔磁盤上 4KB 的空間。


為什麼MySQL索引要用B+樹,而不是B樹?


InnoDB 的所有數據文件(後綴為 ibd 的文件),他的大小始終都是 16384(16K)的整數倍。


為什麼MySQL索引要用B+樹,而不是B樹?


磁盤扇區、文件系統、InnoDB 存儲引擎都有各自的最小存儲單元。


為什麼MySQL索引要用B+樹,而不是B樹?


在 MySQL 中我們的 InnoDB 頁的大小默認是 16K,當然也可以通過參數設置:

mysql> show variables like 'innodb_page_size'; 

+------------------+-------+

| Variable_name | Value |

+------------------+-------+

| innodb_page_size | 16384 |

+------------------+-------+

1 row in set (0.00 sec)

數據表中的數據都是存儲在頁中的,所以一個頁中能存儲多少行數據呢?假設一行數據的大小是 1K,那麼一個頁可以存放 16 行這樣的數據。

如果數據庫只按這樣的方式存儲,那麼如何查找數據就成為一個問題。

因為我們不知道要查找的數據存在哪個頁中,也不可能把所有的頁遍歷一遍,那樣太慢了。

所以人們想了一個辦法,用 B+ 樹的方式組織這些數據,如下圖所示:


為什麼MySQL索引要用B+樹,而不是B樹?


我們先將數據記錄按主鍵進行排序,分別存放在不同的頁中(為了便於理解我們這裡一個頁中只存放 3 條記錄,實際情況可以存放很多)。

除了存放數據的頁以外,還有存放鍵值+指針的頁,如圖中 page number=3 的頁,該頁存放鍵值和指向數據頁的指針,這樣的頁由 N 個鍵值+指針組成。

當然它也是排好序的。這樣的數據組織形式,我們稱為索引組織表。

現在來看下,要查找一條數據,怎麼查?如:

select * from user where id=5; 

這裡 id 是主鍵,我們通過這棵 B+ 樹來查找,首先找到根頁,你怎麼知道 user 表的根頁在哪呢?

其實每張表的根頁位置在表空間文件中是固定的,即 page number=3 的頁(這點我們下文還會進一步證明)。

找到根頁後通過二分查找法,定位到 id=5 的數據應該在指針 P5 指向的頁中,那麼進一步去 page number=5 的頁中查找,同樣通過二分查詢法即可找到 id=5 的記錄:

5 zhao2 27 

現在我們清楚了 InnoDB 中主鍵索引 B+ 樹是如何組織數據、查詢數據的,我們總結一下:

  • InnoDB 存儲引擎的最小存儲單元是頁,頁可以用於存放數據也可以用於存放鍵值+指針,在 B+ 樹中葉子節點存放數據,非葉子節點存放鍵值+指針。
  • 索引組織表通過非葉子節點的二分查找法以及指針確定數據在哪個頁中,進而在去數據頁中查找到需要的數據。

那麼回到我們開始的問題,通常一棵B+樹可以存放多少行數據?

這裡我們先假設 B+ 樹高為 2,即存在一個根節點和若干個葉子節點,那麼這棵 B+ 樹的存放總記錄數為:根節點指針數*單個葉子節點記錄行數。

上文我們已經說明單個葉子節點(頁)中的記錄數=16K/1K=16。(這裡假設一行記錄的數據大小為 1K,實際上現在很多互聯網業務數據記錄大小通常就是 1K 左右)。

那麼現在我們需要計算出非葉子節點能存放多少指針?其實這也很好算,我們假設主鍵 ID 為 bigint 類型,長度為 8 字節,而指針大小在 InnoDB 源碼中設置為 6 字節,這樣一共 14 字節。

我們一個頁中能存放多少這樣的單元,其實就代表有多少指針,即 16384/14=1170。

那麼可以算出一棵高度為 2 的 B+ 樹,能存放 1170*16=18720 條這樣的數據記錄。

根據同樣的原理我們可以算出一個高度為 3 的 B+ 樹可以存放:1170*1170*16=21902400 條這樣的記錄。

所以在 InnoDB 中 B+ 樹高度一般為 1-3 層,它就能滿足千萬級的數據存儲。

在查找數據時一次頁的查找代表一次 IO,所以通過主鍵索引查詢通常只需要 1-3 次 IO 操作即可查找到數據。

怎麼得到 InnoDB 主鍵索引 B+ 樹的高度?

上面我們通過推斷得出 B+ 樹的高度通常是 1-3,下面我們從另外一個側面證明這個結論。

在 InnoDB 的表空間文件中,約定 page number 為 3 的代表主鍵索引的根頁,而在根頁偏移量為 64 的地方存放了該 B+ 樹的 page level。

如果 page level 為 1,樹高為 2,page level 為 2,則樹高為 3。即 B+ 樹的高度=page level+1;下面我們將從實際環境中嘗試找到這個 page level。

在實際操作之前,你可以通過 InnoDB 元數據表確認主鍵索引根頁的 page number 為 3,你也可以從《InnoDB 存儲引擎》這本書中得到確認:

SELECT 
b.name, a.name, index_id, type, a.space, a.PAGE_NO
FROM
information_schema.INNODB_SYS_INDEXES a,
information_schema.INNODB_SYS_TABLES b
WHERE
a.table_id = b.table_id AND a.space <> 0;

執行結果:


為什麼MySQL索引要用B+樹,而不是B樹?


可以看出數據庫 dbt3 下的 customer 表、lineitem 表主鍵索引根頁的 page number 均為 3,而其他的二級索引 page number 為 4。

關於二級索引與主鍵索引的區別請參考 MySQL 相關書籍,本文不在此介紹。

下面我們對數據庫表空間文件做想相關的解析:


為什麼MySQL索引要用B+樹,而不是B樹?


因為主鍵索引 B+ 樹的根頁在整個表空間文件中的第 3 個頁開始,所以可以算出它在文件中的偏移量:16384*3=49152(16384 為頁大小)。

另外根據《InnoDB 存儲引擎》中描述在根頁的 64 偏移量位置前 2 個字節,保存了 page level 的值。

因此我們想要的 page level 的值在整個文件中的偏移量為:16384*3+64=49152+64=49216,前 2 個字節中。


為什麼MySQL索引要用B+樹,而不是B樹?


接下來我們用 hexdump 工具,查看錶空間文件指定偏移量上的數據:

  • linetem 表的 page level 為 2,B+ 樹高度為page level+1=3。
  • region 表的 page level 為 0,B+ 樹高度為 page level+1=1。
  • customer 表的 page level 為 2,B+ 樹高度為 page level+1=3。

這三張表的數據量如下:


為什麼MySQL索引要用B+樹,而不是B樹?


總結

lineitem 表的數據行數為 600 多萬,B+ 樹高度為 3,customer 表數據行數只有 15 萬,B+ 樹高度也為 3。

可以看出儘管數據量差異較大,這兩個表樹的高度都是 3。換句話說這兩個表通過索引查詢效率並沒有太大差異,因為都只需要做 3 次 IO。

那麼如果有一張錶行數是一千萬,那麼他的 B+ 樹高度依舊是 3,查詢效率仍然不會相差太大。region 表只有 5 行數據,當然他的 B+ 樹高度為 1。

最後回顧一道 MySQL 面試題:為什麼 MySQL 的索引要使用 B+ 樹而不是其他樹形結構?比如 B 樹?現在這個問題的複雜版本可以參考本文。

他的簡單版本回答是:因為 B 樹不管葉子節點還是非葉子節點,都會保存數據,這樣導致在非葉子節點中能保存的指針數量變少(有些資料也稱為扇出)。

指針少的情況下要保存大量數據,只能增加樹的高度,導致 IO 操作變多,查詢性能變低。

本文從一個問題出發,逐步介紹了 InnoDB 索引組織表的原理、查詢方式,並結合已有知識,回答該問題,結合實踐來證明。

當然為了表述簡單易懂,文中忽略了一些細枝末節,比如一個頁中不可能所有空間都用於存放數據,它還會存放一些少量的其他字段比如 page level,index number 等等。

另外還有頁的填充因子也導致一個頁不可能全部用於保存數據。關於二級索引數據存取方式可以參考 MySQL 相關書籍,他的要點是結合主鍵索引進行回表查詢。

簡介:目前在一家 O2O 互聯網公司從事設計、開發工作。業餘時間喜歡跑步、看書、遊戲。喜歡簡單而高效的工作環境,熟悉 JavaEE、SOA、數據庫架構、優化、系統運維,有大型門戶網站,金融系統建設經驗。RHCE、MySQL OCP。MyCAT 開源項目成員。


分享到:


相關文章: