[已解决]服务器CPU突然飙高98%----Java程序OOM问题 （2024.9.5）

目录

• 问题描述
• 问题排查
• 问题解决
• 参考资料

问题描述

业主单位服务器自8月29日晚上21:00起CPU突然飙高至98%，内存爆满，一直到9月5日：

问题排查

①执行 top 命令查看Java进程PID

top

②执行top -Hp PID 命令查看具体的线程情况

top -Hp 3058

输入上述命令会显示进程 ID 为 3058 的进程及其所有子进程的资源使用情况，按占用cpu使用率倒序显示

上述占用CPU最高的前十线程如下：

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
47496 root 20 0 18.6g 10.7g 15376 R 61.9 68.6 406:54.77 Thread-240
10017 root 20 0 18.6g 10.7g 15376 R 49.3 68.6 293:56.47 Thread-246
10391 root 20 0 18.6g 10.7g 15376 R 48.0 68.6 293:37.96 Thread-249
10141 root 20 0 18.6g 10.7g 15376 R 46.0 68.6 293:45.48 Thread-247
10259 root 20 0 18.6g 10.7g 15376 R 44.7 68.6 293:57.29 Thread-248
9965 root 20 0 18.6g 10.7g 15376 R 42.1 68.6 294:10.26 Thread-245
3060 root 20 0 18.6g 10.7g 15376 S 16.2 68.6 103:36.83 GC task thread#
3061 root 20 0 18.6g 10.7g 15376 S 15.9 68.6 103:36.20 GC task thread#
3063 root 20 0 18.6g 10.7g 15376 S 15.9 68.6 103:33.17 GC task thread#
3062 root 20 0 18.6g 10.7g 15376 S 15.6 68.6 103:38.85 GC task thread#
3064 root 20 0 18.6g 10.7g 15376 S 4.3 68.6 32:01.71 VM Thread

③将线程的pid转为16进制

printf '0x%x\\n' PID

④使用jvm工具jstack打印该进程的堆栈信息

jstack 47496 | grep -A 50 0xb988

But 报错了

47496: Unable to open socket file /proc/47496/root/tmp/.java_pid47496: target process 47496 doesn't respond within 10500ms or HotSpot VM not loaded

查阅相关资料

注意：发现本地执行命令的用户和Java应用所属的用户均一致，jstack后面的pid与16进制的数也是一致的，因为是直接复制过去的，若无法解决，可直接执行第⑤步

⑤执行jstack命令抓取Java线程的堆栈信息

jstack 3058 > /opt/xxxxx/thread_dump.txt

上述命令会将进程 ID 为 3058 的 Java 应用程序生成一个线程堆栈转储（thread dump），并将输出重定向到 /opt/xxxxx/thread_dump.txt 文件中

⑥抓取thread_dump.txt文件至本地分析，以子线程Thread-240分析【0xb988】

⑦使用反编译工具JD-GUI查看对应class文件

官方下载链接：http://java-decompiler.github.io/

成功定位到问题，进行相关代码修改后打包部署！！！

问题解决

近3日服务器运行状况如下：

可以看到CPU使用率基本稳定在10%，解决Java程序OOM 成功！！！

参考资料

• java应用cpu飙升(超过100%)故障排查步骤
• 重点问题！CPU利用率过高排查思路｜原创