top -H -p [pid] 查看进程的线程情况。
ps -mp [pid] -o THREAD,tid,time | sort -rn 查看线程情况
printf "%x " tid // 十六进制
jstack [pid] |grep [tid] -A 30
jstack -l [pid] ,
以上排查高CPU占用率的相关命令。线上排除了死锁的情况,我们从内存泄漏排查开始介绍。
jstat -gc [pid] [milliseconds] 查看GC情况 ,发现 FGCT很长,同时分配的内存基本被占满。,判断内存泄漏问题。
此时已经切换了流量,jstack [pid] 记录线程 dump , jmap 产生 dump 文件,jmap -dump:format=b,file=20181510.bin [pid],生成二进制dump文件。
分析dump 文件中的大对象, eclipse MAT 对比日志发现 886行一个toJson操作,发现循环体没有正常结束,原来是循环体没有正常退出,遍历一个list时,list进行了add操作,这个循环将近执行30次,list以指数增长,toJson存到缓存时占用将近200M,在反序列化的时候内存不够用了,机器一直FULLGC.