本文来自于腾讯优测公众号(wxutest),未经作者同意,请勿转载,原文地址:https://mp.weixin.qq.com/s/8BiKIt3frq9Yv9KV5FXlGw

1.3新问题的进一步挖掘

在上一节里,我们介绍了内存测试的基本流程,讲述了如何发现并处理简单的内存问题。对于Dalvik Heap部分总结出了一些常见的问题模式,以及如何使用工具识别和处理这些常见的内存问题。

当简单问题不再是问题的时候,我们就会开始遇上一些奇怪问题了,类似于下面这些:

“我们这个版本引入了一个挺简单的库,内存就涨了2M”
“这些代码只是初始化了几个对象,还没有开始用呢”
“我只是改了一行代码,没有创建新对象”
“我一行代码都没改,怎么会涨呢”

这次出现的问题就是这样这一类问题,新版本的Dalvik Heap Pss内存出现了2M左右的增长。但Dalvik Heap Alloc只增长了273K的情况下。而从Dalvik Heap Free也能看出大部分增长的内存是空闲状态的。

经过一段时间对问题的观察,我们有以下几点发现:

  • 经过较长时间待机后也没有被释放回系统。
  • 有几处代码会导致内存增长,只要将这些代码屏蔽掉,内存情况就下降到正常水品。
  • 这些代码分配的内存并不多,甚至有些地方是不需要分配内存的。
  • 有些代码并不是这个版本新加入的,已经存在较长时间了。
  • 使用裁剪功能的方法编译并分析内存后,基本可以确定是新加入代码消耗了内存,但并没有内存泄漏,代码经过review也没有发现问题。

这个结果让我们陷入了困惑,常用的方法找不出问题,说明有更深层次的原因。接下来要从更底层的Dalvik虚拟机寻找问题。

1.3.1 Dalvik Heap内部机制

为了弄清楚为什么DVM占着内存不释放,我们阅读了DVM分配内存部分的代码。位置在Android源码的dalvik/vm/alloc下,约255K。分析出的主要流程如下:

1) DVM使用mmap系统调用从系统分配大块内存作为Java Heap。根据系统机制,如果分类的内存尚未真正使用,就不计入PrivateDirty和PSS。例如图1-8,Heap Size/Alloc很多,但大部分是共享,实际使用的较少。所以反映到PrivateDirty/PSS里的内存并不多。

图1-8 共享内存较多的进程

2) New对象之后,由于要向对应的地址写入数据,内核开始真正分配该地址对应的4K物理内存页面。

Alloc.cpp, 176行起:

图1-9 DVM虚拟机分配内存的代码

3) 运行一段时间后,开始GC,有些对象被回收了,有些会一直存在,如图1-10所示。

图1-10黑点表示的内存会被回收

4) 在GC时,有可能会进行trim。即将空闲的物理页面释放回系统,表现为PrivateDirty/PSS下降。

HeapSource.cpp, 431行:

图1-11 释放内存回系统的代码(一)

HeapSource.cpp,1304行:

图1-12 释放内存回系统的代码(二)

1.3.2 问题所在

在了解DVM分配释放内存的机制后,根据dumpsys观察到的现象,猜测可能出现了页利用率问题(页内碎片)。如图1-13所示,第一行:在开始阶段,内存分配的较满。第二行:经过GC后,大部分对象被释放,少部分留下来。

图1-13产生内存碎片

这种情况下可能会产生的问题是,整页的4K内存中可能只有一个小对象,但统计PrivateDirty/PSS时还是按4K计算。

在通常的jvm虚拟机中,有Compacting GC机制,整理内存对象,将散布的内存移动到一起。但根据DVM的代码,DVM的Mark-Sweep算法不能移动对象,即没有内存整理功能,这种情况下就会形成内存空洞。

在猜测了可能的问题后,需要验证是否如猜测原因所致,由于MAT的对象实例数据中有地址和大小信息,我们先从MAT中导出数据。

在MAT中列出所有对象实例:list_objects java.*,然后选中所有数据导出为CSV格式,如下所示:

Class Name,Shallow Heap,Retained Heap,
class java.lang.Class @ 0x41fdd1e8,16,56,
class test.bxi$3 @ 0x432501c8,0,0,
class test.aaw$c$1 @ 0x4324fef8,0,0,
class test.ds @ 0x4324fc88,8,48,
class test.bxh @ 0x4324f438,8,248,
class test.bxg @ 0x4324f248,0,0,
class test.bxd$1 @ 0x4324f028,0,0, 

处理导出的csv文件,按页面进行统计,取每个对象的地址的高位(&0xfffff000),结果相同的对象处在同一页面中。最后再按每个页面所有对象的大小分类统计,做出直方图如图1-14所示。

图1-14对页面利用率进行分类统计

这张图就是被测应用的页面利用率分布图,左边是利用率低的页面,右边是利用率高的页面。如果发现利用率低的页面数目增加,说明小对象碎片的数量增加了。

1.3.3 优化Dalvik内存碎片

为了能够找出有问题的代码,我们将上一步得到的数据继续处理。取出所有使用不满2K的页面的内存块地址,再使用OQL将地址导入到MAT中,分析地址对应的对象是什么。如图1-15所示就是将地址重新导入到MAT中得到的对象列表了:

图1-15内存碎片页中的对象

在这里基本就能看出来是哪些对象造成了内存的碎片化,数量比较多的前几个类的自然嫌疑比较大,可以先对前几个类的相关代码进行分析。也可以对这些代码进行针对性的内存测试,观察内存情况。

通过对生成这些对象的代码分析和模拟实验,我们还原出问题的基本过程:

  • 生成对象过程需要较多的临时变量。
  • 批量生成过程中,由于还有空闲内存,虚拟机没有做GC。
  • 完成后才进行GC,清除了所有的零时变量,留下碎片化的内存。

下图是造成这个问题的类似代码,执行这段代码将会在内存中形成很多碎片,造成很高的PSS占用。

private Object result[] = new Object[100];
void foo() {
  for(int i = 0; i < 100; ++i) {
    byte[] tmp = new byte[2000];
    result[i] = new byte[4];
  }
}

图1-16显示了类似情况下数组的分配范围,可见数组中每个成员的内存地址都是不连续的,并且相隔很远。这种情况下就会消耗很多个物理内存页面,增加Heap Free,造成例子中的问题。

图1-16内存碎片对象地址的例子

经验小结

根据上述的流程,我们搞清楚了造成问题的原因,并且找到了问题代码。那么应当总结一些经验,以供借鉴。对于测试人员来说,有以下两个经验:

  • MAT是探索Java堆并发现问题的好帮手,能够迅速发现常见的图片和大数组等问题。但仅靠MAT提供的功能也不是万能的,比如这个问题的数据就隐藏在对象的地址中。
  • 对Android测试经验来说,可能容易找到的是应用代码及框架的各种测试经验和指导,底层以及涉及性能的测试经验并不太多。这方面可以借鉴Linux系统的测试经验,了解内核及进程相关的知识,熟悉常用工具。
  • 内存分配的最小单位是页面,通常为4K。

对于开发人员,以下两个经验也许能有帮助:

  • 尽量不要在循环中创建很多临时变量。
  • 可以将大型的循环拆散,分段或者按需执行。

更多精彩内容欢迎关注腾讯优测的微信公众账号:

腾讯优测是专业的移动云测试平台,为应用、游戏、H5混合应用的研发团队提供产品质量检测与问题解决服务。不仅在线上平台提供app自动化测试、云真机远程操控与调试、私有自动化测试工具XTest等多种质量检测工具,更为VIP客户配备了专家团队提供定制化综合测试解决方案。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐