揭露 FileSystem 引起的线上 JVM 内存溢出问题

周末小叶正在王者峡谷乱杀，手机突然收到大量机器CPU告警，CPU使用率超过80%就会告警，同时也收到该服务的Full GC告警。该服务是小叶项目组非常重要的服务，小叶赶紧放下手中的王者荣耀打开电脑查看问题。

图1.1 CPU告警   Full GC告警

2.1 监控查看

因为服务CPU和Full GC告警了，打开服务监控查看CPU监控和Full GC监控，可以看到两个监控在同一时间点都有一个异常凸起，可以看到在CPU告警的时候，Full GC特别频繁，猜测可能是Full GC导致的CPU使用率上升告警。

图2.1 CPU使用率

图2.2 Full GC次数  

从Full Gc频繁可以知道服务的内存回收肯定存在问题，故查看服务的堆内存、老年代内存、年轻代内存的监控，从老年代的常驻内存图可以看到，老年代的常驻内存越来越多，老年代对象无法回收，最后常驻内存全部被占满，可以看出明显的内存泄漏。

图2.3 老年代内存

图2.4 JVM内存

2.3 内存溢出

从线上的错误日志也可以明确知道服务最后是OOM了，所以问题的根本原因是内存泄漏导致内存溢出OOM，最后导致服务不可用。

图2.5 OOM日志    

3.1 堆内存分析

在明确问题原因为内存泄漏之后，我们第一时间就是dump服务内存快照，将dump文件导入至MAT(Eclipse Memory Analyzer)进行分析。Leak Suspects 进入疑似泄露点视图。

图3.1 内存对象分析

图3.2 对象链路图

3.2 源码分析

图3.3

（1）猜想一：FileSystem是不是有常量对象？

接下里我们就查看FileSystem类的源码，FileSystem的init和get方法如下：

图3.4

从图3.4最后一行代码可以看到，FileSystem类存在一个CACHE，通过disableCacheName控制是否从该缓存拿对象。该参数默认值为false。也就是默认情况下会通过CACHE对象返回FileSystem。

图3.5

从图3.5可以看到CACHE为FileSystem类的静态对象，也就是说，该CACHE对象会一直存在不会被回收，确实存在常量对象CACHE，猜想一得到验证。

那接下来看一下CACHE.get方法：

从这段代码中可以看出：

Cache.Key的hashCode方法如下：

schema和authority变量为String类型，如果在相同的URI情况下，其hashCode是一致。而unique该参数的值每次都是0。那么Cache.Key的hashCode就由ugi.hashCode()决定。

由以上代码分析可以梳理得到：

（2）猜想二：FileSystem同样hdfs URI是不是多次缓存？

FileSystem.Cache.Key构造函数如下所示：ugi由UserGroupInformation的getCurrentUser()决定。

继续看UserGroupInformation的

getCurrentUser()方法，如下：

（3）FileSystem为什么会重复缓存？

那为什么会每次都获取到一个新的Subject对象呢，我们接着往下看一下获取AccessControlContext的代码，如下：

其中比较关键的是

getStackAccessControlContext方法，该方法调用了Native方法，如下：

该方法会返回当前堆栈的保护域权限的AccessControlContext对象。

我们通过图3.6 get(final URI uri, final Configuration conf,final String user) 方法可以看到，如下：

图3.6

图3.7

图3.8

然后在调用Subject.doAs方法，如下：

最后在调用AccessController.doPrivileged方法，如下：

小结一下：

（4）FileSystem的正确用法

public static FileSystem get(final URI uri, final Configuration conf, final String user)public static FileSystem get(URI uri, Configuration conf)

我们可以看到 FileSystem get(final URI uri, final Configuration conf, final String user)方法最后是调用FileSystem get(URI uri, Configuration conf)方法的，区别在于FileSystem get(URI uri, Configuration conf)方法于缺少也就是缺少每次新建Subject的的操作。

图3.9

没有新建Subject的的操作，那么图3.9 中Subject为null，会走最后的getLoginUser方法获取loginUser。而loginUser是静态变量，所以一旦该loginUser对象初始化成功，那么后续会一直使用该对象。UserGroupInformation.hashCode方法将会返回一样的hashCode值。也就是能成功的使用到缓存在FileSystem的Cache。

图3.10

经过前面的介绍，如果要解决FileSystem 存在的内存泄露问题，我们有以下两种方式：

（1）使用public static FileSystem get(URI uri, Configuration conf)：

（2）使用public static FileSystem get(final URI uri, final Configuration conf, final String user)：

基于我们已有的历史代码最小改动的前提下，我们选择了第二种修改方式。在我们每次使用完FileSystem之后都关闭FileSystem对象。

对代码进行修复发布上线之后，如下图一所示，可以看到修复之后老年代的内存可以正常回收了，至此问题终于全部解决。

内存溢出是 Java 开发中最常见的问题之一，其原因通常是由于内存泄漏导致内存无法正常回收引起的。在我们这篇文章中，详细介绍一次完整的线上内存溢出的处理过程。

总结一下我们在碰到内存溢出时候的常用解决思路：

（1）生成堆内存文件：

在服务启动命令添加

 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/local/base

让服务在发生oom时自动dump内存文件，或者使用 jamp 命令dump内存文件。

（3）根据堆内存分析定位到具体的内存泄漏代码。

（4）修改内存泄漏代码，重新发布验证。