Redis5.0數據淘汰策略詳解(最新版本,面試常問)

作為一個內存數據庫,redis在內存空間不足的時候,為了保證命中率,就會選擇一定的數據淘汰策略,這篇文章主要講解常見的幾種內存淘汰策略。和我們操作系統中的頁面置換算法類似。

一、參數設置

我們的redis數據庫的最大緩存、主鍵失效、淘汰機制等參數都是通過配置文件來配置的。這個文件是我們的redis.config文件,我們的redis裝在了/usr/local/redis目錄下,所以配置文件也在這裡。首先說明一下我使用的redis是5。也是目前最新的版本。

1、最大內存參數

Redis5.0數據淘汰策略詳解(最新版本,面試常問)

關鍵的配置就在最下面,我們可以設置多少個字節。默認是關閉的。

2、內存淘汰策略

不同於之前的版本,redis5.0為我們提供了八個不同的內存置換策略。很早之前提供了6種。

Redis5.0數據淘汰策略詳解(最新版本,面試常問)

(1)volatile-lru:從已設置過期時間的數據集中挑選最近最少使用的數據淘汰。

(2)volatile-ttl:從已設置過期時間的數據集中挑選將要過期的數據淘汰。

(3)volatile-random:從已設置過期時間的數據集中任意選擇數據淘汰。

(4)volatile-lfu:從已設置過期時間的數據集挑選使用頻率最低的數據淘汰。

(5)allkeys-lru:從數據集中挑選最近最少使用的數據淘汰

(6)allkeys-lfu:從數據集中挑選使用頻率最低的數據淘汰。

(7)allkeys-random:從數據集(server.db[i].dict)中任意選擇數據淘汰

(8) no-enviction(驅逐):禁止驅逐數據,這也是默認策略。意思是當內存不足以容納新入數據時,新寫入操作就會報錯,請求可以繼續進行,線上任務也不能持續進行,採用no-enviction策略可以保證數據不被丟失。

這八種大體上可以分為4中,lru、lfu、random、ttl。

二、淘汰機制的實現

1、刪除失效主鍵

既然是淘汰,那就需要把這些數據給刪除,然後保存新的。Redis 刪除失效主鍵的方法主要有兩種:

(1)消極方法(passive way),在主鍵被訪問時如果發現它已經失效,那麼就刪除它。redis在實現GET、MGET、HGET、LRANGE等所有涉及到讀取數據的命令時都會調用 expireIfNeeded,它存在的意義就是在讀取數據之前先檢查一下它有沒有失效,如果失效了就刪除它。

Redis5.0數據淘汰策略詳解(最新版本,面試常問)

expireIfNeeded函數中調用的另外一個函數propagateExpire,這個函數用來在正式刪除失效主鍵,並且廣播告訴其他地方,目的地有倆:AOF文件,將刪除失效主鍵的這一操作以DEL Key的標準命令格式記錄下來;另一個就是發送到當前Redis服務器的所有Slave,同樣將刪除失效主鍵的這一操作以DEL Key的標準命令格式告知這些Slave刪除各自的失效主鍵。

Redis5.0數據淘汰策略詳解(最新版本,面試常問)

(2)積極方法(active way),週期性地探測,發現失效就刪除。消極方法的缺點是,如果key 遲遲不被訪問,就會佔用很多內存空間,所以才有積極方式。

(3)主動刪除:當內存超過maxmemory限定時,觸發主動清理策略,該策略由啟動參數的配置決定

主鍵具體的失效時間全部都維護在expires這個字典表中:

Redis5.0數據淘汰策略詳解(最新版本,面試常問)

2、淘汰數據的量

既然是淘汰數據,那麼淘汰多少合適呢?

為了避免頻繁的觸發淘汰策略,每次會淘汰掉一批數據,淘汰的數據的大小其實是和置換的大小來確定的,如果置換的數據量大,淘汰的肯定也多。

3、置換策略是如何工作

理解置換策略的執行方式是非常重要的,比如:

(1)客戶端執行一條新命令,導致數據庫需要增加數據(比如set key value)

(2)Redis會檢查內存使用,如果內存使用超過maxmemory,就會按照置換策略刪除一些key

(3)新的命令執行成功

OK,redis數據淘汰策略就先到這,版本使用的是最新的5。可能會和3不同。



分享到:


相關文章: