基礎命令
1. Strings
redis 對此描述為 binary-safe strings。可以看出, strings 類型在 redis 中是以 二進制 形式存儲,這意味著 redis strings 可以用來存儲任何類型的數據,甚至是一張圖片。一個 string value 最大可以為 512M
redis 使用 sds(simple dynamic string) struct 來存儲 strings 數據。
<code>struct
sdshdr
{unsigned
int
len;unsigned
int
free
;char
buf[]; }/<code>
初始化時,free 為 0, 當 append key value 時, redis 會對該存儲空間擴容,擴容大小 = new_value.length * 2 ,但最大不能超過 1M (redis 中定義為 SDS_MAX_PREALLOC)。
這樣, redis 就能十分方便的獲取 string 長度(O(1)),減少內存擴容。
同樣,這種策略會預分配內存,產生不必要的內存浪費,所以當我們經常 append huge strings 時,就會產生很多不必要的浪費。
redis 在 3.2 版本後,對此做了優化,會根據 string 的長度,選擇不同的 SDS type
<code>static
inline
char
sdsReqType
(
size_t
string_size) {if
(string_size1
5
)return
SDS_TYPE_5;if
(string_size1
8
)return
SDS_TYPE_8;if
(string_size1
16
)return
SDS_TYPE_16;if
(string_size1l
l32
)return
SDS_TYPE_32;return
SDS_TYPE_64;return
SDS_TYPE_32; }/<code>
strings 指令:
inrc / decr / incrby / decrby :原子遞增/遞減
可以用來統計訪問量 / 點贊量 / 轉發量 等各種熟路
<code>127.0
.0
.1
:6379>
set
counter
18
OK
127.0
.0
.1
:6379>
INCR
counter
(integer)
19
127.0
.0
.1
:6379>
DECR
counter
(integer)
18
127.0
.0
.1
:6379>
INCRBY
counter
18
(integer)
36
127.0
.0
.1
:6379>
DECRBY
counter
18
(integer)
18
127.0
.0
.1
:6379>
get
counter
"18"
/<code>
get / set / getset / append : 獲取 / 設置 / 設置同時返回值 / 追加
mget / mset : 批量獲取 / 設置
<code>127.0
.0
.1
:6379>
MSET
k1
v1
k2
v2
k3
v3
OK
127.0
.0
.1
:6379>
MGET
k1
k2
k3
1
)
"v1"
2
)
"v2"
3
)
"v3"
/<code>
setex : 設置 value 和過期時間
<code>127.0
.0
.1
:6379
>SETEX
exp1
10expv1
OK
# 獲取過期時間, 還有 7 秒 127.0
.0
.1
:6379
>ttl
exp1
(integer
) 7 127.0
.0
.1
:6379
>get
exp1
"expv1
" # 此時查詢時已過期 127.0
.0
.1
:6379
>get
exp1
(nil
)/<code>
setnx / strlen : set not exists,即沒有時,才生效 / 獲取 value 長度
<code># 無nx
這個key
時, 設置成功 127.0
.0
.1
:6379
>SETNX
nx
nxv
(integer
) 1 127.0
.0
.1
:6379
>get
nx
"nxv
" # 有nx
這個key
時, 設置失敗 127.0
.0
.1
:6379
>SETNX
nx
nxvvvvvv
(integer
) 0 127.0
.0
.1
:6379
>get
nx
"nxv
" # 獲取key
為nx
的value
長度 127.0
.0
.1
:6379
>STRLEN
nx
(integer
) 3 127.0
.0
.1
:6379
>get
nx
"nxv
"/<code>
更多 strings 相關命令參見 這裡
2. Lists
redis 的 list 是 linkedList , 是根據插入順尋排列的 string 元素的集合, 一個 list 最大長度為 232 -1 。
list 節點 / 迭代器 / list 定義如下:
<code>typedef
struct
listNode
{struct
listNode
*prev
;struct
listNode
*next
;void
*value; } listNode; typedef
struct
listIter
{ listNode *next;int
direction; } listIter; typedef
struct
list
{ listNode *head; listNode *tail;void
*(*dup)(void
*ptr);void
(*free
)(void
*ptr);int
(*match)(void
*ptr,void
*key);unsigned
long
len; }list
;/<code>
由此可見, redis 中的 list 是一個雙向鏈表。同時會保存頭尾節點和長度,所以獲取他們的時間複雜度都為 O(1)
所以, LPUSH,RPUSH, RPOP, LPOP ,RPOPLPUSH , LLEN 等操作都十分高效
Lists 指令:
LPUSH / RPUSH : 從頭部 / 尾部插入元素
<code>127.0
.0
.1
:6379>
LPUSH
list
l1
l2
(integer)
2
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"l2"
2
)
"l1"
127.0
.0
.1
:6379>
RPUSH
list
r1
r2
(integer)
4
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"l2"
2
)
"l1"
3
)
"r1"
4
)
"r2"
127.0
.0
.1
:6379>
del
list
/<code>
LRANGE : 從列表中拿出一個 range 。
- 注意這個 range 是 閉合 的,比如你執行 lrange list 0 1 ,即 [0, 1] 而非 [0, 1) 。
- 負數表示倒數, 如 [0, -1] ,表示從 0 到最後一個數,即該 list 的全部元素
<code>127.0
.0
.1
:6379>
RPUSH
list
v1
v2
v3
(integer)
3
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"v1"
2
)
"v2"
3
)
"v3"
127.0
.0
.1
:6379>
del
list
/<code>
我們結合 LPUSH + LRANGE ,可以簡單的實現 timeline 功能
LTRIM:從頭部截取指定長度 slice 並存入該 key 中
<code>127.0
.0
.1
:6379>
lpush
list
v1
v2
v3
(integer)
3
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"v3"
2
)
"v2"
3
)
"v1"
127.0
.0
.1
:6379>
LTRIM
list
0
1
OK
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"v3"
2
)
"v2"
127.0
.0
.1
:6379>
del
list
/<code>
LPUSH + LTRIM 的組合,可以實現一個簡單的定長 list ,該 list 維護指定長度的最新元素
LINSERT : 在指定元素前/後插入原色
<code>127.0
.0
.1
:6379>
lpush
list
val
(integer)
1
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"val"
127.0
.0
.1
:6379>
linsert
list
before
val
val-before
(integer)
2
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"val-before"
2
)
"val"
127.0
.0
.1
:6379>
LINSERT
list
after
val
val-after
(integer)
3
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"val-before"
2
)
"val"
3
)
"val-after"
127.0
.0
.1
:6379>
LINSERT
list
before
noexist
noexist
(integer)
-1
127.0
.0
.1
:6379>
lrange
list
0
-1
1
)
"val-before"
2
)
"val"
3
)
"val-after"
127.0
.0
.1
:6379>
del
list
/<code>
LPOP / RPOP
拿到並刪除 頭部 / 尾部 元素
<code>127.0
.0
.1
:6379>
rpush
list
head
middle
tail
(integer)
3
127.0
.0
.1
:6379>
lrange
list
0
-1
1
)
"head"
2
)
"middle"
3
)
"tail"
127.0
.0
.1
:6379>
LPOP
list
"head"
127.0
.0
.1
:6379>
RPOP
list
"tail"
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"middle"
127.0
.0
.1
:6379>
del
list
/<code>
LREM key count element : 刪除元素
- count > 0 時, 從頭到尾 刪除與 element 相等的元素, 刪除 count 個
- count < 0 時, 從尾到頭 刪除與 element 相等的元素, 刪除 count 個
- count = 0 時, 刪除所有與 element 相等的元素
<code>127.0
.0
.1
:6379>
RPUSH
list
1
2
1
2
1
2
(integer)
6
127.0
.0
.1
:6379>
LREM
list
1
2
(integer)
1
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"1"
2
)
"1"
3
)
"2"
4
)
"1"
5
)
"2"
127.0
.0
.1
:6379>
LREM
list
-1
2
(integer)
1
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"1"
2
)
"1"
3
)
"2"
4
)
"1"
127.0
.0
.1
:6379>
LREM
list
0
1
(integer)
3
127.0
.0
.1
:6379>
LRANGE
list
0
-1
1
)
"2"
/<code>
RPOPLPUSH source dest
取出 source 尾節點放到 dest 的頭節點
- 如果 source 不存在,返回 nil , 不執行任何操作
- 如果 dest 不存在,創建 dest,並執行操作
- 如果 source tail 元素 和 dest head 元素一致,依舊會 push
- 如果 source 和 dest 是同一個 list ,這個 list 就變成了一個 circular list
<code>127.0
.0
.1
:6379>
LRANGE
source
0
-1
1
)
"s"
2
)
"s"
127.0
.0
.1
:6379>
RPOPLPUSH
noexist
source
(nil)
127.0
.0
.1
:6379>
LRANGE
source
0
-1
1
)
"s"
2
)
"s"
127.0
.0
.1
:6379>
keys
*
1
)
"source"
127.0
.0
.1
:6379>
RPOPLPUSH
source
dest
"s"
127.0
.0
.1
:6379>
LRANGE
dest
0
-1
1
)
"s"
127.0
.0
.1
:6379>
RPOPLPUSH
source
dest
"s"
127.0
.0
.1
:6379>
LRANGE
dest
0
-1
1
)
"s"
2
)
"s"
/<code>
BLPOP key1 key2 key3... timeout
LPOP 的阻塞版本,即 key1 , key2, key3 ... 任一監聽的 key 中都沒有值時,會阻塞到 timeout ,timeout 為 0 表示一直阻塞
- key1 -> key2 -> key3 按序查找,直到找到值
- 多個 client 監聽同一個 key 時,按監聽時間的早晚,依次返回給 client ,client 接收到後,下次監聽需要重新排隊
- multi 操作一次塞入多個值時,會先執行完 multi 操作,然後返回並刪除頭節點
BRPOP / BRPOPLPUSH
BRPOP 功能參考 BLPOP, 即阻塞版本的 RPOP,獲取並刪除尾節點
BRPOPLPUSH 即阻塞版本的 RPOPLPUSH ,從 source 獲取尾節點並放到 dest 的頭部
更多 lists 的操作命令參考 這裡
3. Sets
sets 底層主要基於 hash 表和 inset 數據結構實現。
無序且去重的 set 集合,最大可存儲 232 -1 個元素。
SADD key ele1 ele2 ele3 ...
SCARD / SMEMBERS key
SISMEMBER key ele
添加 / 獲取 set 元素數量 / 獲取 set 所有元素 / 確定一個元素是否在集合中
SDIFF key1 key2 key3 ...
SDIFFSTORE dest key1 key2
- sdiff :獲取 key1 與 key2, key3 的 差集,即 key2 不存在與 key2, key3 中的元素
- sdiffstore:與 LRPOPLPUSH 類似,將 sdiff 的結果放到 dest set 中,注意,如果 dest 中有元素,則元素會被清空
SINTER key key1 key
SINTERSTORE dest key key1 key2
與 sdiff /sdiffstore 類似,這組命令是取 交集
SUNION key1 key2 key3 ...
SUNIONSTORE dest key1 key2 key3 ...
同樣,這裡取並集
SMOVE source dest ele
SREM key ele1 ele2
- 移動 source 中的 ele 到 dest 集合中
- 將 key 中元素 ele1 ele2 刪除
SRANDMEMBER / SPOP
- srandmember key count : 從 set 中隨機取出元素0 ≤ count ≤ set length :隨機返回 count 個元素, 無放回隨機count > set length : 返回全部 set 元素count 為負數時, 隨機返回 count 個元素,此時為 有放回隨機 , 這也意味著, count 可以為一個絕對值大於 set length 的負數。
- spop key count : spop 的 count 不能為負數,其他行為與 srandmember 一致,spop 會同時刪除取出的元素
SSCAN key cursor [MATCH pattern] count
是一個基於遊標的迭代器。它會返回遊標以及查詢到的元素。
該命令保證
- 從完整遍歷開始到結束,所有存在於 key 中的元素都會被返回
- 開始前被移除且直到結束都未加入的元素,不會被返回
- 同一個元素可能被迭代多次
- 一個元素在迭代過程中被添加或刪除,不保證一定返回或不返回
更多 Sets 相關命令參見 這裡
4. Sorted sets
sorted sets 底層主要基於 跳躍表 實現,關於跳躍表,作者表示也不是很清楚,需要先去加強一波學習,這裡不再展開,可參考文末的 reference 系列文章。
sorted sets 與 sets 十分類似,但是 sorted sets 會給每個 element 添加一個 score,用來給元素排序。sorted sets 不允許相同的元素,但運行相同分數的元素。當查詢多個相同分數的元素時,返回結果為元素的字典排序
ZADD key [XX|NX] [CH] [INCR] score ele ...
添加一個或多個元素到 sorted set。
XX : 僅更新已存在的元素,不添加新元素
NX : 只添加新成員,不更新已存在的元素
CH : 返回發生變化的元素總數,不添加則返回添加的元素總數
INCR : 相當於 ZINCRBY ,為元素分數做遞增操作,使用該選項時,一次只能更新一個元素
ZCARD key
ZCOUNT key min max
ZSCORE key ele
- zcard key 返回 key 所有元素數量
- zcount key min mzx 返回指定 [min, max] 分數中的所有元素數量
- 查詢給定元素分數
ZLEXCOUNT key [min_ele [max_ele
查詢 min ele 和 max ele 之間的元素個數,包含本身,是閉區間!
- 查詢的元素前要加 [ ,如 zlexcount sset [min [max
- - (減號) , + (加號) 分別表示最小分數和最大分數元素, 如 zlexcount sset - + ,則返回 sset 這個 key 中的所有元素個數
ZINTERSTORE dest num key1 key2 [weights] [aggregate]
對 key1 key2 取交集,放入 dest 中,若 dest 已存在,則會清空 dest 後放入結果集
- num ,必須納入交集計算的 key 的個數,這裡 num 應該為 2
- weights : 在存入 dest 之前,會按照給定的 weights 與元素 相乘 ,默認為 1
- aggregate : 聚合方式, MAX , MIN , SUM ,默認 SUM
<code>127.0
.0
.1
:6379>
ZADD
a
1
1
1
2
1
3
(integer)
3
127.0
.0
.1
:6379>
ZADD
b
2
2
2
3
2
4
(integer)
3
127.0
.0
.1
:6379>
ZADD
c
3
3
3
4
3
5
(integer)
3
127.0
.0
.1
:6379>
ZINTERSTORE
dest
3
a
b
c
weights
10
1
1
aggregate
MAX
(integer)
1
127.0
.0
.1
:6379>
ZRANGE
dest
0
-1
withscores
1
)
"3"
2
)
"10"
/<code>
ZPOPMAX / ZPOPMIN key [count]
ZRANGE / ZREVRANGE key start stop [withscores]
ZRANGEBYLEX / ZREVRANGEBYLEX key [min [max [limit offset count]
ZRANGEBYSCORE
- 獲取並刪除給定 count 個元素,按照 score 的最大值 / 最小值排序
- 按照分數從小到大(zrevrange 從大到小) 排序,score 相同則按照字典序排列
- zrangebylex : 按字典排序,獲取 [min, max] 中元素, 不要在 score 不一致的 key 中使用該指令,因為獲取的結果會不準min , max 參考 zlexcount 說明, 使用 ( 獲取開區間結果集limit offset count : 是否分頁, offset , count 分別為起始位置和返回結果數量以 ASCII 字符集排序,所以對大小寫敏感,對 utf-8 字符集不友好
ZRANK key element
ZREVRANK key element
從小到大(zrevrank 從大到小) 獲取指定 ele 的 index
ZREM key ele1, ele2 ...
ZREMRANGEBYRANK key start stop ...
ZREMRANGEBYLEX key min max
ZREMRANGEBYSCORE key min max
- 刪除指定元素
- 按照給定索引刪除
- 按照給定元素區間,按照字典序刪除
- 按照給定分數區間刪除
更多 Sorted Sets 相關命令參見 這裡
5. Hashes
hash 在 redis 底層是通過 dict 數據結構來實現的,即字典,java 中的 map ,都是類似的數據結構
<code>typedef
struct
dictEntry
{void
*key;union
{void
*val;uint64_t
u64;int64_t
s64;double
d; } v;struct
dictEntry
*next
; } dictEntry;typedef
struct
dictht
{ dictEntry **table;unsigned
long
size;unsigned
long
sizemask;unsigned
long
used; } dictht;typedef
struct
dict
{ dictType *type;void
*privdata; dictht ht[2
];long
rehashidx;unsigned
long
iterators; } dict;/<code>
當出現 hash 衝突時, redis 會通過一個鏈表來處理。
你還可以在 這裡 看更詳盡的解釋
一個 hash 最多可包含 232 -1 個 k-v 對
- HSET key field1 v1 field2 v2 ... :新增/更新 kv
- HSETNX key field value :not exist,即不存在 field 時插入, key 不存在會新建
- HGET key field :獲取 field 的 value , field 不存在時返回 nil
- HGETALL key :獲取 key 中所有 kv
- HDEL key field1 field2:刪除指定 field
- HEXISTS key field :field 是否存在
- HINCRBY key field step : 增加 field 對應 value 值,不存在則新建該 field, step 作為值
- HINCRBYFLOAT key field step :同上,增加或新增 float 類型
- HLEN key :獲取 key 的 field 個數
- HKEYS key : 獲取 key 中所有 field
- HVALS key : 獲取 key 中所有 value
- HSTRLEN key field :獲取 field 對應 value 的長度
- HMGET : 獲取多個 field 值,field 不存在時,返回 nil hmget key field1 field1
- HMSET : 批量新增/更新 field,hmset key field1 v1 field2 v2
- HSCAN :
更多 Hash 相關命令參見 這裡
6. 其他命令
bitmap, geo, hyperLogLog 參見 這裡
更多命令參見 redis.cn or redis
pipeline
當我們需要多個操作時, 通常的辦法是,client --> op1 --> redis --> client --> op2 --> redis ...
每次 op 操作,都需要先和 redis 建立連接,而後再操作。雖然連接建立耗時極短,但當網絡不好時,仍然是一筆開銷,而 pipeline 則可以很好的解決這個問題。
pipeline 和我們常說的管道基本一致,它能在 client 和 redis server 之間建立連接通道,而後每次操作都在該通道下進行,所有操作完成後,再關閉 pipeline
當我們通過 pipeline 操作數據時,需要注意操作的個數,因為 redis 需要耗費內存來組織需要返回的數據。所以我們需要控制 pipeline 內的 op 個數,分批處理。
pipeline 操作是非原子性的,如果要保證其原子性,可以通過 multi exec 來保證
事實上, pipiline 能處理的事情,都可以通過腳本來處理,腳本還能夠處理有依賴關係的數據。lua>
PUBSUB
在 redis 中, 通過幾個簡單的命令就可以實現 pub/sub 。
我們在一個 terminal 中使用 subscribe 命令
<code>127.0
.0
.1
:6379>
SUBSCRIBE
chan1
chan2
Reading
messages...
(press
Ctrl-C
to
quit)
1
)
"subscribe"
2
)
"chan1"
3
)
(integer)
1
1
)
"subscribe"
2
)
"chan2"
3
)
(integer)
2
1
)
"message"
2
)
"chan1"
3
)
"From chan1"
/<code>
該命令會阻塞監聽兩個 channel: chan1 和 chan2 , 如果 channel 不存在,則會創建。
我們同樣可以使用 psubscribe 命令來使用通配符監聽 channel, 如 psubscribe chan*
我們還可以通過 unsubscribe 和 punsubscribe (支持通配符) 來取消訂閱
我們在另一個 terminal 通過 publish chan1 value1 發送消息,訂閱方就能收到消息
在 redis 的 server.h 中,定義了一個用來存儲 pubsub 數據的 key=channel , value=client 的 dict
<code>dict
*pubsub_channels;/<code>
- 當有 client subscribe 時, redis 就會往這個 dict 中添加 的一堆鍵值對, 多個 client 註冊同一個 channel 時, client 的存儲就變成 dict 中的 list。
- 當有人 publish 值到 channel 時, redis 會先通過 channel 查詢到對應的 client list ,然後依次發送給各個 client。
- 退訂 channel 時, 只需要找到 channel 下的 client ,從 dict 中剔除即可
如果 publisher 在 publish 時沒有 subscriber 監聽,那麼該條消息就會丟失。
Reference
- redis 官網
- redis 中文
- redis 設計與實現 老版
- redis 設計與實現 3.0 版
- 深入瞭解 redis 底層數據結構
- 圖解 redis 五種數據結構底層實現