线上服务 CPU 100%？一键定位 so easy

作者：大数据之路
来源：https://my.oschina.net/leejun2005/blog/1524687 

0、背景

经常做后端服务开发的同学，或多或少都遇到过 CPU 负载特别高的问题。尤其是在周末或大半夜，突然群里有人反馈线上机器负载特别高，不熟悉定位流程和思路的同学可能登上服务器一通手忙脚乱，定位过程百转千回。

对此，也有不少同学曾经整理过相关流程或方法论，类似把大象放进冰箱要几步，传统的方案一般是4步：

1. top oder by with P：1040 // 首先按进程负载排序找到 axLoad(pid)
2. top -Hp 进程PID：1073 // 找到相关负载 线程PID
3. printf “0x%x\\n”线程PID： 0×431 // 将线程PID转换为 16进制，为后面查找 jstack 日志做准备
4. jstack 进程PID | vim +/十六进制线程PID – // 例如：jstack 1040|vim +/0×431 -

但是对于线上问题定位来说，分秒必争，上面的 4 步还是太繁琐耗时了，有没有可能封装成为一个工具，在有问题的时候一键定位，秒级找到有问题的代码行呢？

当然可以！工具链的成熟与否不仅体现了一个开发者的运维能力，也体现了开发者的效率意识。淘宝的oldratlee 同学就将上面的流程封装为了一个工具：show-busy-java-threads.sh（点击可直接下载，或参考文末链接下载），可以很方便的定位线上的这类问题，下面我会举两个例子来看实际的效果。

快速安装使用：

source

1、java 正则表达式回溯造成 CPU 100%

编译、运行上述代码之后，咱们就能观察到服务器多了一个 100% CPU 的 java 进程：

怎么使用呢？

示例：

可以看到，一键直接定位异常代码行，是不是很方便？

2、线程死锁，程序 hang 住

执行之后的效果：

如何用工具定位：

一键定位：可以清晰的看到线程互相锁住了对方等待的资源，导致死锁，直接定位到代码行和具体原因。

通过上面两个例子，我想各位同学应该对这个工具和工具能解决什么问题有了比较深刻的了解了，遇到 CPU 100% 问题可以从此不再慌乱。但是更多的还是依赖大家自己去实践，毕竟实践出真知嘛~

3、免费实用的脚本工具大礼包

除了正文提到的 show-busy-java-threads.sh，oldratlee 同学还整合和不少常见的开发、运维过程中涉及到的脚本工具，觉得特别有用的我简单列下：

（1）show-duplicate-java-classes

偶尔会遇到本地开发、测试都正常，上线后却莫名其妙的 class 异常，历经千辛万苦找到的原因竟然是 Jar冲突！这个工具就可以找出Java Lib（Java库，即Jar文件）或Class目录（类目录）中的重复类。

Java开发的一个麻烦的问题是Jar冲突（即多个版本的Jar），或者说重复类。会出NoSuchMethod等的问题，还不见得当时出问题。找出有重复类的Jar，可以防患未然。

# 查找当前目录下所有Jar中的重复类
show-duplicate-java-classes
# 查找多个指定目录下所有Jar中的重复类 

show-duplicate-java-classes path/to/lib_dir1 /path/to/lib_dir2
# 查找多个指定Class目录下的重复类。 Class目录 通过 -c 选项指定
show-duplicate-java-classes -c path/to/class_dir1 -c /path/to/class_dir2
# 查找指定Class目录和指定目录下所有Jar中的重复类的Jar
show-duplicate-java-classes path/to/lib_dir1 /path/to/lib_dir2 -c path/to/class_dir1 -c path/to/class_dir2

例如：

# 在war模块目录下执行，生成war文件
$ mvn install
...
# 解压war文件，war文件中包含了应用的依赖的Jar文件
$ unzip target/*.war -d target/war
...
# 检查重复类
$ show-duplicate-java-classes -c target/war/WEB-INF/classes target/war/WEB-INF/lib
...

（2）find-in-jars

在当前目录下所有jar文件里，查找类或资源文件。

用法：注意，后面Pattern是grep的 扩展正则表达式。

find-in-jars 'log4j\\.properties'
find-in-jars 'log4j\\.xml$' -d /path/to/find/directory
find-in-jars log4j\\\\.xml
find-in-jars 'log4j\\.properties|log4j\\.xml'

示例：

$ ./find-in-jars 'Service.class$'
./WEB-INF/libs/spring-2.5.6.SEC03.jar!org/springframework/stereotype/Service.class
./rpc-benchmark-0.0.1-SNAPSHOT.jar!com/taobao/rpc/benchmark/service/HelloService.class
 

（3）housemd pid [java_home]

很早的时候，我们使用BTrace排查问题，在感叹BTrace的强大之余，也曾好几次将线上系统折腾挂掉。2012年淘宝的聚石写了HouseMD，将常用的几个Btrace脚本整合在一起形成一个独立风格的应用，其核心代码用的是Scala，HouseMD是基于字节码技术的诊断工具, 因此除了Java以外, 任何最终以字节码形式运行于JVM之上的语言, HouseMD都支持对它们进行诊断, 如Clojure(感谢@Killme2008提供了它的使用入门), scala, Groovy, JRuby, Jython, kotlin等.

使用housemd对java程序进行运行时跟踪，支持的操作有：

• 查看加载类
• 跟踪方法
• 查看环境变量
• 查看对象属性值
• 详细信息请参考: https://github.com/CSUG/HouseMD/wiki/UserGuideCN

（4）jvm pid

执行jvm debug工具，包含对java栈、堆、线程、gc等状态的查看，支持的功能有：

进入jvm工具后可以输入序号执行对应命令

可以一次执行多个命令，用分号”;”分隔，如：1;3;4;5;6

每个命令可以带参数，用冒号”:”分隔，同一命令的参数之间用逗号分隔，如：

Enter command queue:1;5:1000,100;10:/data1/output.bin

（5）greys [@IP:PORT]

PS：目前Greys仅支持Linux/Unix/Mac上的Java6+，Windows暂时无法支持

Greys是一个JVM进程执行过程中的异常诊断工具，可以在不中断程序执行的情况下轻松完成问题排查工作。和HouseMD一样，Greys-Anatomy取名同名美剧“实习医生格蕾”，目的是向前辈致敬。代码编写的时候参考了BTrace和HouseMD两个前辈的思路。

使用greys对java程序进行运行时跟踪(不传参数，需要先greys -C pid,再greys)。支持的操作有：

• 查看加载类，方法信息
• 查看JVM当前基础信息
• 方法执行监控（调用量，失败率，响应时间等）
• 方法执行数据观测、记录与回放（参数，返回结果，异常信息等）
• 方法调用追踪渲染
• 详细信息请参考: https://github.com/oldmanpushcart/greys-anatomy/wiki

（6）sjk <arguments> sjk –commands sjk –help /<arguments>

使用sjk对Java诊断、性能排查、优化工具

• ttop:监控指定jvm进程的各个线程的cpu使用情况
• jps: 强化版
• hh: jmap -histo强化版
• gc: 实时报告垃圾回收信息
• 更多信息请参考: https://github.com/aragozin/jvm-tools