來源:https://www.cnblogs.com/maxzhang1985/p/12673160.html
一、發現問題
在一次系統上線後,我們發現某幾個節點在長時間運行後會出現CPU持續飆升的問題,導致的結果就是Kubernetes集群的這個節點會把所在的Pod進行驅逐(調度);如果調度到同樣問題的節點上,也會出現Pod一直起不來的問題。我們嘗試了殺死Pod後手動調度的辦法(label),當然也可以排除調度節點。但是在一段時間後還會復現,我們通過監控系統也排查了這段時間的流量情況,但應該和CPU持續佔用沒有關聯,這時我們意識到這可能是程序的問題。
二、排查問題
定位Pod
這裡使用kubectl top pods 命令確定CPU佔用最高的pods都是哪些。
<code>kubectl -n app top pods/<code>
因為問題已解決,以上圖片只是舉個例子。
排查工具
Arthas
我們這邊使用了阿里的Arthas ,它是Alibaba開源的Java診斷工具。當你遇到以下類似問題而束手無策時,Arthas可以幫助你解決:
這個類從哪個 jar 包加載的?為什麼會報各種類相關的 Exception?
我改的代碼為什麼沒有執行到?難道是我沒 commit?分支搞錯了?
遇到問題無法在線上 debug,難道只能通過加日誌再重新發布嗎?
線上遇到某個用戶的數據處理有問題,但線上同樣無法 debug,線下無法重現!
是否有一個全局視角來查看系統的運行狀況?
有什麼辦法可以監控到JVM的實時運行狀態?
怎麼快速定位應用的熱點,生成火焰圖?
排查問題
定位到有問題的Pod後,使用kubectl exec進入Pod容器內部:
<code>kubectl -n app exec -it 49a89b2f-73c6-40ac-b6de-c6d0e47ace64-5d489d9c48qwc7t -- /bin/bash/<code>
在容器中下載Arthas
<code>wget https://arthas.gitee.io/arthas-boot.jar/<code>
由於我們打包鏡像中只有一個服務,所以一個Pod中也只有一個進程; 這裡 1 是指PID。
<code>java -jar arthas-boot.jar 1/<code>
執行進程看板 dashboard:
<code>[arthas@1]$ dashboard/<code>
這裡上半區顯示了線程內容,我們可以看到哪個線程ID的對應情況:
比如從上面得到了線程ID,使用如下命令進入線程,如ID 12262:
<code>[arthas@1]$ thread -n 12262/<code>
打印出線程日誌:
<code>[arthas@1]$ thread -n 12262
"com.alibaba.nacos.client.Worker.addr-bj-internal.edas.aliyun.com-7362814c-538b-4c26-aa07-1fd47765a145" Id=20190 cpuUsage=7% TIMED_WAITING on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e (in native)
at sun.misc.Unsafe.park(Native Method)
- waiting on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e
at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093)
at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:813)/<code>
三、解決問題
經過了排查定位到了問題,最後經過社區和阿里雲夥伴的協助,發現了這個是Nacos 2.0.0.RELEASE的一個BUG。我們對Nacos客戶端版本進行了升級,經過測試後,問題解決了。也加深了對Kubernetes集群調試的能力 [加油]。
<code><dependency>
<groupid>com.alibaba.cloud/<groupid>
<artifactid>spring-cloud-starter-alibaba-nacos-discovery/<artifactid>
<version>2.0.1.RELEASE/<version>
/<dependency>/<code>
四、最後
通過社區和阿里雲的幫助,問題成功解決。在工具方面,阿里提供的Arthas,真的是線上環境調試神器!
閱讀更多 Java架構學習交流 的文章