面试官:如何用zabbix实现redis缓存服务监控?

概述

今天主要介绍下怎么通过zabbix去监控redis。

Zabbix-server通过agent监控中配置文件调用shell脚本。Redis中提供redis-cli 命令使用info可以获得redis大部分信息。在使用shell命令获取到需要的信息。


一、监控原理

要获得Redis的当前情况,使用info命令即可。具体用法:#redis-cli -h 127.0.0.1 -p 6379 -a redis_passwd info [参数] 。

针对不同的参数就会看到具体的数字,如果没有带参数,那么就会把默认情况写出来,如果带上all参数,那么就会把所有情况都写出来。比如:#redis-cli -h 127.0.0.1 -p 6379 -a redis_passwd info server,就会看到redis关于server的一些数据。

  • info查看到信息
    redis-cli -h IP -p 端口 -a 密码 info
<code># Server 服务器信息
redis_version:3.2.1 #版本号
redis_git_sha1:00000000 #Git SHA1
redis_git_dirty:0 #Git dirty flag
redis_build_id:3ea7e649f97792bd
redis_mode:standalone #redis模式
os:Linux 3.10.0-514.el7.x86_64 x86_64 #内核版本
arch_bits:64
multiplexing_api:epoll #Redis 所使用的事件处理机制
gcc_version:4.8.5 #GCC版本
process_id:6946 #进程id
run_id:e15a5c178ef674e23d01689c2acfa64f8452ac71
tcp_port:6379
uptime_in_seconds:9406523 #运行时间(s)

uptime_in_days:108 #运行天数
hz:10
lru_clock:5120936 #以分钟为单位进行自增的时钟,用于 LRU 管理
executable:/data/redis-3.2.1/src/./redis-server
config_file:/data/redis-3.2.1/redis.conf #配置文件

# Clients 客户端连接信息
connected_clients:59 #已连接客户端的数量(不包括通过从属服务器连接的客户端)
client_longest_output_list:0 #当前连接的客户端当中,最长的输出列表
client_biggest_input_buf:0 #当前连接的客户端当中,最大输入缓存
blocked_clients:16 #正在等待阻塞命令(BLPOP、BRPOP、BRPOPLPUSH)的客户端的数量

# Memory
#在理想情况下, used_memory_rss 的值应该只比 used_memory 稍微高一点儿。
#当 rss > used ,且两者的值相差较大时,表示存在(内部或外部的)内存碎片。
#内存碎片的比率可以通过 mem_fragmentation_ratio 的值看出。
#当 used > rss 时,表示 Redis 的部分内存被操作系统换出到交换空间了,在这种情况下,操作可能会产生明显的延迟。
used_memory:10205728 #Redis分配的内存总量,以字节(byte)为单位
used_memory_human:9.73M #上面的数字加上了单位
used_memory_rss:19922944 #Redis分配的内存总量(包括内存碎片)
used_memory_rss_human:19.00M
used_memory_peak:48473056 #Redis 的内存消耗峰值(以字节为单位)
used_memory_peak_human:46.23M

total_system_memory:1929211904 #系统内存
total_system_memory_human:1.80G
used_memory_lua:37888 #Lua 引擎所使用的内存大小(以字节为单位)
used_memory_lua_human:37.00K
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
mem_fragmentation_ratio:1.95 #内存碎片比率,即used_memory_rss 和 used_memory 之间的比率
mem_allocator:jemalloc-4.0.3 #在编译时指定的,Redis所使用的内存分配器。可以是libc、jemalloc或者tcmalloc。

# Persistence 持久化
loading:0
rdb_changes_since_last_save:298 #上次保存数据库之后,执行命令的次数
rdb_bgsave_in_progress:0 #后台进行中的 save 操作的数量
rdb_last_save_time:1582179177 #最后一次成功保存的时间点,以 UNIX 时间戳格式显示
rdb_last_bgsave_status:ok #最后一次保存的状态
rdb_last_bgsave_time_sec:0
rdb_current_bgsave_time_sec:-1
aof_enabled:0 #redis是否开启了aof
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok

# Stats 统计信息
total_connections_received:4248700 #运行以来连接过的客户端的总数量
total_commands_processed:58743583 #运行以来执行过的命令的总数量
instantaneous_ops_per_sec:0 #服务器每秒钟执行的命令数量
total_net_input_bytes:5493734837
total_net_output_bytes:58816466856
instantaneous_input_kbps:0.00

instantaneous_output_kbps:0.00
rejected_connections:0 #因为最大客户端数量限制而被拒绝的连接请求数量
sync_full:0
sync_partial_ok:0
sync_partial_err:0
expired_keys:587477 #运行以来过期的 key 的数量
evicted_keys:0 #运行以来删除过的key的数量
keyspace_hits:7847227 #命中key的次数
keyspace_misses:1334579 #没命中key的次数
pubsub_channels:0 #目前被订阅的频道数量
pubsub_patterns:36 #目前被订阅的模式数量
latest_fork_usec:836 #最近一次 fork() 操作耗费的微秒数
migrate_cached_sockets:0

# Replication 主/从复制信息
role:master #当前实例的角色master还是slave
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# CPU
used_cpu_sys:5993.97 #Redis服务器耗费的系统CPU
used_cpu_user:4488.61 #Redis服务器耗费的用户CPU
used_cpu_sys_children:179.18 #子进程耗费的系统CPU
used_cpu_user_children:1032.41 #子进程耗费的用户CPU

# Cluster 是否使用集群
cluster_enabled:0

# Keyspace
db4:keys=6182,expires=140,avg_ttl=5097639 #各个数据库的key的数量,以及带有生存期的 key的数量/<code>

根据以上信息使用shell命令可以获取自己想要检测的信息。如果监控,可以关注以下:

1)内存使用

如果 Redis 使用的内存超出了可用的物理内存大小,那么 Redis 很可能系统会被杀掉。针对这一点,你可以通过 info 命令对 used_memory 和 used_memory_peak 进行监控,为使用内存量设定阀值,并设定相应的报警机制。当然,报警只是手段,重要的是你得预先计划好,当内存使用量过大后,你应该做些什么,是清除一些没用的冷数据,还是把 Redis 迁移到更强大的机器上去。

2)持久化

如果因为你的机器或 Redis 本身的问题导致 Redis 崩溃了,那么你唯一的救命稻草可能就是 dump 出来的rdb文件了,所以,对 Redis dump 文件进行监控也是很重要的。可以通过对rdb_last_save_time 进行监控,了解最近一次 dump 数据操作的时间,还可以通过对rdb_changes_since_last_save进行监控来获得如果这时候出现故障,会丢失(即已改变)多少数据。

3)Keys

通过获取Keyspace中的结果得到各个数据库中key的数量

4)QPS

即每分钟执行的命令个数,即:(total_commands_processed2-total_commands_processed1)/span,为了实时得到QPS,可以设定脚本在后台运行,记录过去几分钟的total_commands_processed。在计算QPS时,利用过去的信息和当前的信息得出QPS的估计值。



二、zabbix客户端配置

1、部署zabbix_agent

<code> rpm -ivh zabbix-agent-4.2.6-1.el7.x86_64.rpm/<code>

2、修改zabbix_agent配置文件

<code># vi /etc/zabbix/zabbix_agentd.conf
=============================================================================================
UnsafeUserParameters=1
# 把这个值改为1,因为自动发现的脚本中有一些特殊字符,被认为是不安全的因素,1表示允许这些字符存在
# 如果不改,后期在Server端就会报错,原因就在这里
=============================================================================================
# vi /etc/zabbix/zabbix_agentd.d/redis.conf
=============================================================================================
UserParameter=redis_ping,/etc/zabbix/zabbix_agentd.d/redis_check.sh
UserParameter=redis_status[*],/etc/zabbix/zabbix_agentd.d/redis_status.sh $1 $2
=============================================================================================/<code>


3、redis存活脚本(/etc/zabbix/zabbix_agentd.d/redis_check.sh)

环境变量:echo "export PATH=$PATH:/usr/local/redis-3.2.1/src" >> /etc/profile

用于判断redis服务器连接是否存活

<code>#!/bin/bash
#copyright by hwb
REDISCLI="/data/redis-3.2.1/src/redis-cli"
HOST=`ifconfig | grep inet|grep -v 127.0.0.1 |grep -v inet6 | awk '{print $2}'`
#PORT=($(netstat -tpln | awk -F "[ :]+" '/redis/ && /0.0.0.0/ {print $5}'))
PORT="6379"
PASS="xxx"
STATUS_redis=$($REDISCLI -h $HOST -a $PASS -p $PORT ping)
if [ "$STATUS_redis" == 'PONG' ];then
echo '1'
else
echo '0'
fi/<code>


4、redis状态脚本

主要命令:redis-cli -h IP -p 端口 -a 密码 info |grep xxx |awk xxx

<code>#! /bin/bash
#copyright by hwb
#根据自己的安装情况填写命令位置主机ip和端口
REDISCLI="/data/redis-3.2.1/src/redis-cli"
HOST=`ifconfig | grep inet|grep -v 127.0.0.1 |grep -v inet6 | awk '{print $2}'`
#PORT=($(netstat -tpln | awk -F "[ :]+" '/redis/ && /0.0.0.0/ {print $5}'))
PORT="6379"
PASS="xxxx"

if [[ $# == 1 ]];then
case $1 in

version)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "redis_version" | awk -F':' '{print $2}'`
echo $result
;;
uptime)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "uptime_in_seconds" | awk -F':' '{print $2}'`
echo $result
;;
mode)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "redis_mode" | awk -F':' '{print $2}'`
echo $result
;;
multiplexing_api)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "multiplexing_api" | awk -F':' '{print $2}'`
echo $result
;;
connected_clients)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info clients | grep -w "connected_clients" | awk -F':' '{print $2}'`
echo $result
;;
blocked_clients)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info clients | grep -w "blocked_clients" | awk -F':' '{print $2}'`
echo $result
;;
used_memory)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory" | awk -F':' '{print $2}'`
echo $result
;;
used_memory_rss)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_rss" | awk -F':' '{print $2}'`
echo $result
;;
used_memory_peak)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_peak" | awk -F':' '{print $2}'`
echo $result
;;
used_memory_lua)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_lua" | awk -F':' '{print $2}'`
echo $result
;;
mem_ratio)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "mem_fragmentation_ratio" | awk -F':' '{print $2}'`
echo $result
;;
aof)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info persistence | grep -w "aof_enabled" | awk -F':' '{print $2}'`
echo $result
;;
total_connections)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info stats | grep -w "total_connections_received" | awk -F':' '{print $2}'`

echo $result
;;
total_commands)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info stats | grep -w "total_commands_processed" | awk -F':' '{print $2}'`
echo $result
;;
expired_keys)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info stats | grep -w "expired_keys" | awk -F':' '{print $2}'`
echo $result
;;
keyspace_hits)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info stats | grep -w "keyspace_hits" | awk -F':' '{print $2}'`
echo $result
;;
keyspace_misses)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info stats | grep -w "keyspace_misses" | awk -F':' '{print $2}'`
echo $result
;;
role)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info replication | grep -w "role" | awk -F':' '{print $2}'`
echo $result
;;
used_cpu_sys)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_sys" | awk -F':' '{print $2}'`
echo $result
;;
used_cpu_user)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_user" | awk -F':' '{print $2}'`
echo $result
;;
used_cpu_sys_children)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_sys_children" | awk -F':' '{print $2}'`
echo $result
;;
used_cpu_user_children)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_user_children" | awk -F':' '{print $2}'`
echo $result
;;
rdb_last_bgsave_status)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "rdb_last_bgsave_status" | awk -F':' '{print $2}' | grep -c ok`
echo $result
;;
aof_last_bgrewrite_status)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "aof_last_bgrewrite_status" | awk -F':' '{print $2}' | grep -c ok`
echo $result
;;
aof_last_write_status)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "aof_last_write_status" | awk -F':' '{print $2}' | grep -c ok`
echo $result
;;

*)
echo -e "\\033[33mUsage: $0 {connected_clients|blocked_clients|used_memory|used_memory_rss|used_memory_peak|used_memory_lua|used_cpu_sys|used_cpu_user|used_cpu_sys_children|used_cpu_us
er_children|rdb_last_bgsave_status|aof_last_bgrewrite_status|aof_last_write_status}\\033[0m" ;;
esac
elif [[ $# == 2 ]];then
case $2 in
keys)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "keys" | awk -F'=|,' '{print $2}'`
echo $result
;;
expires)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "keys" | awk -F'=|,' '{print $4}'`
echo $result
;;
avg_ttl)
result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "avg_ttl" | awk -F'=|,' '{print $6}'`
echo $result
;;
*)
echo -e "\\033[33mUsage: $0 {db0 keys|db0 expires|db0 avg_ttl}\\033[0m"
;;
esac
fi/<code>


5、修改/etc/sudoers文件

<code>## Allow root to run any commands anywhere
root ALL=(ALL) ALL
zabbix ALL=(ALL) NOPASSWD:ALL #这个是新增
Defaults:zabbix !requiretty #这个是新增/<code>


6、授权并启动zabbix_agent

<code>chown -R zabbix:zabbix /etc/zabbix
chmod -R 755 /etc/zabbix
systemctl start zabbix-agent
systemctl enable zabbix-agent
systemctl status zabbix-agent/<code>


7、测试key

zabbix_get -s xxx -p 10050 -k redis_status[version]

面试官:如何用zabbix实现redis缓存服务监控?



三、web界面配置-监控项管理

1、redis基本信息

<code>--redis状态
类型:zabbix 客户端
键值:redis_ping
信息类型:数字
单位:
--redis版本
类型:zabbix 客户端
键值:redis_status[version]
信息类型:字符
更新间隔:1h
--redis模式
类型:zabbix 客户端
键值:redis_status[mode]
信息类型:字符
更新间隔:1h
--redis运行时间
类型:zabbix 客户端
键值:redis_status[uptime]
信息类型:浮点数
单位:uptime
更新间隔:30s
--redis事件处理机制
类型:zabbix 客户端
键值:redis_status[multiplexing_api]
信息类型:字符
更新间隔:1h/<code>


2、redis客户端连接信息

<code>--已连接客户端的数量
类型:zabbix 客户端
键值:redis_status[connected_clients]
信息类型:数字
单位:
--正在等待阻塞命令(BLPOP、BRPOP、BRPOPLPUSH)的客户端数量
类型:zabbix 客户端
键值:redis_status[blocked_clients]
信息类型:数字
单位:/<code>

3、redis内存信息

<code>--Redis分配的内存总量
类型:zabbix 客户端
键值:redis_status[used_memory]
信息类型:浮点数
单位:B
--Redis分配的内存总量(包括内存碎片)
类型:zabbix 客户端
键值:redis_status[used_memory_rss]
信息类型:浮点数
单位:B
--Redis 的内存消耗峰值
类型:zabbix 客户端
键值:redis_status[used_memory_peak]
信息类型:浮点数
单位:B
--Lua 引擎所使用的内存大小

类型:zabbix 客户端
键值:redis_status[used_memory_lua]
信息类型:浮点数
单位:B
--redis内存碎片比率
类型:zabbix 客户端
键值:redis_status[mem_ratio]
信息类型:浮点数
单位:%/<code>

4、redis持久化信息

<code>--redis是否开启aof
类型:zabbix 客户端
键值:redis_status[aof]
信息类型:数字
单位:
更新间隔:1h
--rdb最后一次保存的状态
类型:zabbix 客户端
键值:redis_status[rdb_last_bgsave_status]
信息类型:字符
更新间隔:1m
--aof最后一次bgrewrite的状态
类型:zabbix 客户端
键值:redis_status[aof_last_bgrewrite_status]
信息类型:字符
更新间隔:1m
--aof最后一次写的状态
类型:zabbix 客户端
键值:redis_status[aof_last_write_status]
信息类型:字符
更新间隔:1m/<code>

5、redis主/从复制信息

<code>--实例角色
类型:zabbix 客户端
键值:redis_status[role]
信息类型:字符
更新间隔:1h/<code>

6、redis统计信息

<code>--运行以来执行过的命令的总数量
类型:zabbix 客户端
键值:redis_status[total_commands]
信息类型:数字
单位:
更新间隔:30s
--运行以来过期的key的数量
类型:zabbix 客户端
键值:redis_status[expired_keys]
信息类型:数字
单位:
更新间隔:30s
--运行以来连接过的客户端的总数量
类型:zabbix 客户端
键值:redis_status[total_connections]
信息类型:数字
单位:
更新间隔:30s
--命中key的次数
类型:zabbix 客户端
键值:redis_status[keyspace_hits]
信息类型:数字
单位:

更新间隔:30s
--没命中key的次数
类型:zabbix 客户端
键值:redis_status[keyspace_misses]
信息类型:数字
单位:
更新间隔:30s/<code>



四、web界面配置-触发器管理

<code>名称:{HOST.NAME} Redis  is not running
严重性:严重
表达式:{redis:redis_ping.avg(3m)}=0/<code>
面试官:如何用zabbix实现redis缓存服务监控?



觉得有用的朋友多帮忙转发哦!后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~


面试官:如何用zabbix实现redis缓存服务监控?


分享到:


相關文章: