「一分鐘系列」用uid分庫,uname上的查詢怎麼辦?

【緣起】

用戶中心是幾乎每一個公司必備的基礎服務,用戶註冊、登錄、信息查詢與修改都離不開用戶中心。

當數據量越來越大時,需要多用戶中心進行水平切分。最常見的水平切分方式,按照uid取模分庫:

「一分鐘系列」用uid分庫,uname上的查詢怎麼辦?


通過uid取模,將數據分佈到多個數據庫實例上去,提高服務實例個數,降低單庫數據量,以達到擴容的目的。

水平切分之後:

「一分鐘系列」用uid分庫,uname上的查詢怎麼辦?


uid屬性上的查詢可以直接路由到庫,如上圖,假設訪問uid=124的數據,取模後能夠直接定位db-user1。

對於uname上的查詢,就不能這麼幸運了:

「一分鐘系列」用uid分庫,uname上的查詢怎麼辦?


uname上的查詢,如上圖,假設訪問uname=shenjian的數據,由於不知道數據落在哪個庫上,往往需要遍歷所有庫【掃全庫法】,當分庫數量多起來,性能會顯著降低。

用uid分庫,如何高效實現上的查詢,是本文將要討論的問題。

【索引表法】

思路:uid能直接定位到庫,uname不能直接定位到庫,如果通過uname能查詢到uid,問題解決

解決方案

1)建立一個索引表記錄uname->uid的映射關係

2)用uname來訪問時,先通過索引表查詢到uid,再定位相應的庫

3)索引表屬性較少,可以容納非常多數據,一般不需要分庫

4)如果數據量過大,可以通過uname來分庫

潛在不足:多一次數據庫查詢,性能下降一倍

【緩存映射法】

思路:訪問索引表性能較低,把映射關係放在緩存裡性能更佳

解決方案

1)uname查詢先到cache中查詢uid,再根據uid定位數據庫

2)假設cache miss,採用掃全庫法獲取uname對應的uid,放入cache

3)uname到uid的映射關係不會變化,映射關係一旦放入緩存,不會更改,無需淘汰,緩存命中率超高

4)如果數據量過大,可以通過name進行cache水平切分

潛在不足:多一次cache查詢

【uname生成uid】

思路:不進行遠程查詢,由uname直接得到uid

解決方案

1)在用戶註冊時,設計函數uname生成uid,uid=f(uname),按uid分庫插入數據

2)用uname來訪問時,先通過函數計算出uid,即uid=f(uname)再來一遍,由uid路由到對應庫

潛在不足:該函數設計需要非常講究技巧,有uid生成衝突風險

【uname基因融入uid】

思路:不能用uname生成uid,可以從uname抽取“基因”,融入uid中

「一分鐘系列」用uid分庫,uname上的查詢怎麼辦?


假設分8庫,採用uid%8路由,潛臺詞是,uid的最後3個bit決定這條數據落在哪個庫上,這3個bit就是所謂的“基因”。

解決方案

1)在用戶註冊時,設計函數uname生成3bit基因,uname_gene=f(uname),如上圖粉色部分

2)同時,生成61bit的全局唯一id,作為用戶的標識,如上圖綠色部分

3)接著把3bit的uname_gene也作為uid的一部分,如上圖屎黃色部分

4)生成64bit的uid,由id和uname_gene拼裝而成,並按照uid分庫插入數據

5)用uname來訪問時,先通過函數由uname再次復原3bit基因,uname_gene=f(uname),通過uname_gene%8直接定位到庫

【總結】

業務場景:用戶中心,數據量大,通過uid分庫後,通過uname路由不到庫

解決方案

1)掃全庫法:遍歷所有庫

2)索引表法:數據庫中記錄uname->uid的映射關係

3)緩存映射法:緩存中記錄uname->uid的映射關係

4)uname生成uid

5)uname基因融入uid


希望解答了大夥之前的一些疑問,希望這一分鐘沒有浪費,如果有描述不準確的地方,歡迎指正。


分享到:


相關文章: