Redis 千萬不要亂用KEYS命令,不然會捱打的


Redis 千萬不要亂用KEYS命令,不然會捱打的

Redis現如今使用的場景越來越多?如何批量刪除key呢?

有人說用KEYS命令,剛開始學Redis的時候就是用這個命令列出庫中鍵。

KEYS命令要謹慎使用。

為何?客觀別急,我們先一步步來看。

KEYS 命令

Warning: consider KEYS as a command that should only be used in production environments with extreme care. It may ruin performance when it is executed against large databases. This command is intended for debugging and special operations, such as changing your keyspace layout. Don't use KEYS in your regular application code. If you're looking for a way to find keys in a subset of your keyspace, consider using sets.

上面是官方文檔聲明,KEYS命令不能用在生產的環境中,這個時候如果數量過大效率是十分低的。同時也不要用KEYS正則匹配,官方建議直接用集合類型。

有人說 KEYS相當於關係性數據的庫的 select *,在生產環境幾乎是要禁用的。

  • KEYS命令的性能隨著數據庫數據的增多而越來越慢
  • KEYS命令會引起阻塞,連續的 KEYS命令足以讓 Redis 阻塞

試想如果Redis阻塞超過10秒,如果有集群的場景,可能導致集群判斷Redis已經故障,從而進行故障切換;

以上的情況嚴重會導致應用程序出現雪崩的情況。

然而,網上很多都是這麼寫的 redis-cli --raw keys "key前綴*" | xargs redis-cli del,千萬別照炒,拿到生產環境上做實驗。

順便普及下xargs命令,這是Linux下的一個命令 。

xargs命令是給其他命令傳遞參數的一個過濾器,也是組合多個命令的一個工具。它擅長將標準輸入數據轉換成命令行參數,xargs能夠處理管道或者stdin並將其轉換成特定命令的命令參數。xargs也可以將單行或多行文本輸入轉換為其他格式,例如多行變單行,單行變多行。xargs的默認命令是echo,空格是默認定界符。這意味著通過管道傳遞給xargs的輸入將會包含換行和空白,不過通過xargs的處理,換行和空白將被空格取代。xargs是構建單行命令的重要組件之一。

SCAN 命令

Redis從2.8版本開始支持scan命令,SCAN命令的基本用法如下:

  • 複雜度雖然也是 O(n),通過遊標分步進行不會阻塞線程;
  • 有限制參數 COUNT ;
  • 同 keys命令 一樣提供模式匹配功能;
  • 服務器不需要為遊標保存狀態,遊標的唯一狀態就是 scan 返回給客戶端的遊標整數;

scan用法

<code>SCAN cursor [MATCH pattern] [COUNT count]
/<code>
  • scan 命令提供三個參數,第一個是cursor,第二個是要匹配的正則,第三個是單次遍歷的槽位
  • 第一個遍歷是 cursor 值為0,然後將返回結果的第一個整數作為下一個遍歷的遊標,如果最後返回的到cursor的值為0就代表結束。
<code>127.0.0.1:6379> scan 0 MATCH tony* 
1) "42"
2) 1) "tony25"
2) "tony2519"
3) "tony2529"
4) "tony2510"
5) "tony2523"
6) "tony255"
7) "tony2514"
8) "tony256"
9) "tony2511"
10) "tony15"
127.0.0.1:6379> scan 42 MATCH tony* COUNT 1000
1) "0"
2) 1) "tony3513"
2) "tony359"
3) "tony4521"
4) "tony356"
5) "tony30"
6) "tony320"
7) "tony3"
8) "tony312"
/<code>

返回分為兩個部分如上面的代碼中, 1)代表下一次迭代的遊標,2)代表本次迭代的結果集
,注意如果返回遊標為0就代表全部匹配完成。

批量刪除scan命令

因為KEYS命令的時間複雜度為O(n),而SCAN命令會將遍歷操作分解成m次,然後每次去執行,從而時間複雜度為O(1)。也解決使用keys命令遍歷大量數據而導致Redis服務器阻塞的情況。所以建議使用下邊的指令進行批量的刪除操作:

redis-cli --scan --pattern "key前綴*" | xargs -L 1000 redis-cli del

總結

因為Redis是但線程的KEYS在某種情況下會阻塞。有個真實真案件小哥哥生產用KEYS,最終導致服務宕機。後果很嚴重,產生的經濟損失就不說了。

切記嚴重會導致程序的雪崩,刪除的時候用SCAN命令,看完這篇文章應該都記住了。

Redis開發的建議

1、 數據分離


不要什麼都往Redis中放,儘量放些QPS比較高的數據,內存的開銷很昂貴的,可以考慮硬盤存放。


2、分業務

不同的實例單獨放這樣存取的時候方便些,故障的時候也不會影響其他的實例。


3、壓縮

redis中有很大的單個key的值建議壓縮成二進制存放。


4、失效時間

redis中設置key的失效時間,如果不設置會一直佔用著內存,而且key的失效時間應該根據業務場景來設置。


5、容量

佔用內存不要太大10-20G,其次鍵的數量控制在1千萬以內。


6、監控

運維合理的監控好數據,做好Redis安全漏洞的防護和災備。


分享到:


相關文章: