分庫分表之後,id 主鍵如何處理?(面試題7)

分庫分表之後,id 主鍵如何處理?(面試題7)

面試題

分庫分表之後,id 主鍵如何處理?

面試官心理分析

其實這是分庫分表之後你必然要面對的一個問題,就是 id 咋生成?因為要是分成多個表之後,每個表都是從 1 開始累加,那肯定不對啊,需要一個全局唯一的 id 來支持。所以這都是你實際生產環境中必須考慮的問題。

面試題剖析

數據庫自增 id

這個就是說你的系統裡每次得到一個 id,都是往一個庫的一個表裡插入一條沒什麼業務含義的數據,然後獲取一個數據庫自增的一個 id。拿到這個 id 之後再往對應的分庫分表裡去寫入。

這個方案的好處就是方便簡單,誰都會用;缺點就是單庫生成自增 id,要是高併發的話,就會有瓶頸的;如果你硬是要改進一下,那麼就專門開一個服務出來,這個服務每次就拿到當前 id 最大值,然後自己遞增幾個 id,一次性返回一批 id,然後再把當前最大 id 值修改成遞增幾個 id 之後的一個值;但是無論如何都是基於單個數據庫。

適合的場景:你分庫分表就倆原因,要不就是單庫併發太高,要不就是單庫數據量太大;除非是你併發不高,但是數據量太大導致的分庫分表擴容,你可以用這個方案,因為可能每秒最高併發最多就幾百,那麼就走單獨的一個庫和表生成自增主鍵即可。

uuid

好處就是本地生成,不要基於數據庫來了;不好之處就是,uuid 太長了,作為主鍵性能太差了,不適合用於主鍵。

適合的場景:如果你是要隨機生成個什麼文件名了,編號之類的,你可以用uuid,但是作為主鍵是不能用uuid的。

UUID.randomUUID().toString().replace(“-”, “”) -> sfsdf23423rr234sfdaf

獲取系統當前時間

這個就是獲取當前時間即可,但是問題是,併發很高的時候,比如一秒併發幾千,會有重複的情況,這個是肯定不合適的。基本就不用考慮了。

適合的場景:一般如果用這個方案,是將當前時間跟很多其他的業務字段拼接起來,作為一個id,如果業務上你覺得可以接受,那麼也是可以的。你可以將別的業務字段值跟當前時間拼接起來,組成一個全局唯一的編號。

snowflake 算法

snowflake 算法是 twitter 開源的分佈式 id 生成算法,就是把一個 64 位的 long 型的 id,1 個bit是不用的,用其中的 41 bit 作為毫秒數,用 10 bit 作為工作機器 id,12 bit 作為序列號。

  • 1 bit:不用,為啥呢?因為二進制裡第一個 bit 為如果是 1,那麼都是負數,但是我們生成的 id 都是正數,所以第一個 bit 統一都是 0。
  • 41 bit:表示的是時間戳,單位是毫秒。41 bit 可以表示的數字多達 2^41 - 1,也就是可以標識 2^41 - 1 個毫秒值,換算成年就是表示69年的時間。
  • 10 bit:記錄工作機器 id,代表的是這個服務最多可以部署在 2^10臺機器上哪,也就是1024臺機器。但是 10 bit 裡 5 個 bit 代表機房 id,5 個 bit 代表機器 id。意思就是最多代表 2^5個機房(32個機房),每個機房裡可以代表 2^5 個機器(32臺機器)。
  • 12 bit:這個是用來記錄同一個毫秒內產生的不同 id,12 bit 可以代表的最大正整數是 2^12 - 1 = 4096,也就是說可以用這個 12 bit 代表的數字來區分同一個毫秒內的 4096 個不同的 id。
0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000
public class IdWorker {
private long workerId;

private long datacenterId;
private long sequence;
public IdWorker(long workerId, long datacenterId, long sequence) {
// sanity check for workerId
// 這兒不就檢查了一下,要求就是你傳遞進來的機房id和機器id不能超過32,不能小於0
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(
String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(
String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
System.out.printf(
"worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);
this.workerId = workerId;
this.datacenterId = datacenterId;
this.sequence = sequence;
}
private long twepoch = 1288834974657L;
private long workerIdBits = 5L;
private long datacenterIdBits = 5L;
// 這個是二進制運算,就是 5 bit最多隻能有31個數字,也就是說機器id最多隻能是32以內
private long maxWorkerId = -1L ^ (-1L << workerIdBits);
// 這個是一個意思,就是 5 bit最多隻能有31個數字,機房id最多隻能是32以內
private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
private long sequenceBits = 12L;
private long workerIdShift = sequenceBits;
private long datacenterIdShift = sequenceBits + workerIdBits;
private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
private long sequenceMask = -1L ^ (-1L << sequenceBits);
private long lastTimestamp = -1L;
public long getWorkerId() {
return workerId;
}
public long getDatacenterId() {
return datacenterId;
}
public long getTimestamp() {
return System.currentTimeMillis();

}
public synchronized long nextId() {
// 這兒就是獲取當前時間戳,單位是毫秒
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
System.err.printf("clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
throw new RuntimeException(String.format(
"Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
// 這個意思是說一個毫秒內最多隻能有4096個數字
// 無論你傳遞多少進來,這個位運算保證始終就是在4096這個範圍內,避免你自己傳遞個sequence超過了4096這個範圍
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0;
}
// 這兒記錄一下最近一次生成id的時間戳,單位是毫秒
lastTimestamp = timestamp;
// 這兒就是將時間戳左移,放到 41 bit那兒;
// 將機房 id左移放到 5 bit那兒;
// 將機器id左移放到5 bit那兒;將序號放最後12 bit;
// 最後拼接起來成一個 64 bit的二進制數字,轉換成 10 進制就是個 long 型
return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift)
| (workerId << workerIdShift) | sequence;
}
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;

}
private long timeGen() {
return System.currentTimeMillis();
}
// ---------------測試---------------
public static void main(String[] args) {
IdWorker worker = new IdWorker(1, 1, 1);
for (int i = 0; i < 30; i++) {
System.out.println(worker.nextId());
}
}
}

怎麼說呢,大概這個意思吧,就是說 41 bit 是當前毫秒單位的一個時間戳,就這意思;然後 5 bit 是你傳遞進來的一個機房 id(但是最大隻能是32以內),5 bit 是你傳遞進來的機器 id(但是最大隻能是32以內),剩下的那個 12 bit序列號,就是如果跟你上次生成 id 的時間還在一個毫秒內,那麼會把順序給你累加,最多在 4096 個序號以內。

所以你自己利用這個工具類,自己搞一個服務,然後對每個機房的每個機器都初始化這麼一個東西,剛開始這個機房的這個機器的序號就是 0。然後每次接收到一個請求,說這個機房的這個機器要生成一個 id,你就找到對應的 Worker 生成。

利用這個 snowflake 算法,你可以開發自己公司的服務,甚至對於機房 id 和機器 id,反正給你預留了5 bit + 5 bit,你換成別的有業務含義的東西也可以的。

這個 snowflake 算法相對來說還是比較靠譜的,所以你要真是搞分佈式 id 生成,如果是高併發啥的,那麼用這個應該性能比較好,一般每秒幾萬併發的場景,也足夠你用了。

來源[https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/database-shard-global-id-generate.md]


分享到:


相關文章: