Java虚拟机性能管理神器 - VisualVM（6）排查JAVA应用程序内存泄漏

VisualVM - JAVA 监控工具（6）排查JAVA应用程序内存泄漏

大大的微笑

11079人浏览 · 2015-03-11 18:30:50

大大的微笑 · 2015-03-11 18:30:50 发布

Java虚拟机性能管理神器 - VisualVM（6）排查JAVA应用程序内存泄漏

1. 发现问题

线上应用部署完成后，运行1~2天左右就会出现假死，或者某天早上8~10点高峰期间突然不处理数据了。由于在测试环境的压力测试没有做完全，也没有遇到相关问题。情况出现后对客户的使用造成很大影响，领导要求赶紧排查出问题原因！

2. 排查原因

排查原因前，与运维沟通，了解线上服务器的运行状态，通过ganglila观察网络、CPU、内存、磁盘的运行历史状态，发现程序故障前，都有一波很高的负载，排查线上日志，负载来源在8~9点平台接入数据量成倍增加，通过与产品和市场人员分析，此时段是用户集中上班、接入平台的高峰时段，访问日志也显示，业务场景正常，无网络攻击和安全问题。属于产品业务正常的场景。

排除了网络安全因素后，就从程序的运行内部进行排查，首先想到的获取JVM的dmp文件。获取JVM的dmp文件有两中方式：

1. JVM启动时增加两个参数，出现 OOME 时生成堆 dump:

-XX:+HeapDumpOnOutOfMemoryError

生成堆文件地址：

-XX:HeapDumpPath=/home/test/jvmlogs/

2. 发现程序异常前通过执行指令，直接生成当前JVM的dmp文件，15434是指JVM的进程号

jmap -dump:format=b,file=serviceDump.dat 15434

由于第一种方式是一种事后方式，需要等待当前JVM出现问题后才能生成dmp文件，实时性不高，第二种方式在执行时，JVM是暂停服务的，所以对线上的运行会产生影响。所以建议第一种方式。

3. 解决方案

获取到dmp文件后，就开始进行分析。将服务器上的dmp文件拷贝到本地，然后启动本地的VisualVM,点击菜单栏【文件】选项，装入dmp文件

打开dmp文件后，查看类标签，就能看到占用内存的一个排行。

然后通过检查中查找最大的对象，排查到具体线程和对象。

上列中的com.ctfo.trackservice.handler.TrackHandleThread#4就是重点排查对象。

通过代码的比对，在此线程中，有调用DAO接口，负责将数据存储到数据库中。而存储到数据库中时，由于存储速度较慢，导致此线程中的数据队列满了，数据积压，无法回收导致了队列锁定，结果就是程序假死，不处理数据。

通过进一步分析，发现数据库存储时有瓶颈，虽然当前是批量提交，速度也不快。平均8000/秒的存储速度。而数据库有一个DG（备份）节点，采用的是同步备份方式，即主库事务要等DG的事务也完成后才能返回成功，这样就会因为网络因素、DG性能因素等原因导致性能下降。通过与DBA、产品、沟通，将同步备份改为异步备份，实时同步改为异步（异步可能会导致主备有10分钟以内的数据延迟）。速度达到30000/秒。问题解决。

至此，通过VisualVM分析java程序内存泄漏到此结束。不过还有几个问题:1. 如果dmp文件较大，VisualVM分析时间可能很久；另外，VisualVM对堆的分析显示功能还不算全面。如果需要更全面的显示，就可以使用另外一个专业的dmp文件分析工具【Memory Analyzer (MAT)】，此工具可以作为eclipse的插件进行安装，也可以单独下载使用。如果有感兴趣的朋友，我个人建议还是单独下载使用。下载地址：http://www.eclipse.org/mat/

其他文章: