【Android测试】【随笔】性能采集工具——小松鼠诞生记

 ◆版权声明：本文出自胖喵~的博客，转载必须注明出处。

   转载请注明出处：http://www.cnblogs.com/by-dream/p/4945066.html

起因

---

　　去年刚加入TX的时候，我便接手了路宝这款App的性能测试工作。

　　当时的性能测试的需求是，采集腾讯路宝在“前台导航”“后台导航”等数个场景下的电流值、cpu、内存、流量等数据。而当时的采集手段是：使用GT回放一段固定的gps轨迹，然后发起导航后使用GT来采集数据。具体过程如下：

 

　　从上图可见，整个过程中需要人工干预，其中设置GT和操作App是一个重复、繁琐的过程。并且为了保证测试的环境一致，减少误差，需要保证每次电池的电量是一致的（尤其在电流的采集中），但是充电过程比较耗费时间，并且需要人监测，浪费了不少精力。在和项目比较紧张的时候，人力都投入到了项目上，导致性能测试只能在项目完成后再进行测试，每次的结果都是比项目上线要滞后一步。

　　于是针对以上痛点，我们经过调研和思考决定采取以下方法来解决目前的现状问题：

　　1、充电：使用继电器来完成自动冲、放电；

　　2、设置GT：手工操作GT的方式，用程序调用GT的SDk来驱动（后来GT支持了广播方式驱动，也可以用广播）；

　　3、操作App：使用谷歌提供的Uiautomator来进行UI自动化。

初探

---

 　　有了上述的解决思路后，我便开始一步步的去落实每一项任务。我的想法是用一个Android的应用程序（小松鼠的雏形）来总体控制这所有的事情。我们接下来看看这每一步和小松鼠都是怎么联系起来的：

自动充电

　　从智能平台测试组kerlyyuan同事那里，了解到了继电器可以做到这个，但是对于不懂硬件的我，究竟怎么去弄懂这玩意呢？这期间花费了我很多的精力：咨询淘宝卖家、查阅资料、请教前辈。最终终于搞清楚了这个小玩意的用法。

　　而最终指定的解决方案是：将usb数据线的电源线，接在继电器的两端来控制usb数据线的开和断。听到这里是不是有点迷糊了？没事往下看，我会慢慢的解释。

　　继电器：

　　　　PL2303，是一个usb转串口的单独继电器模块，淘宝搜索有很多卖的。它就是用来控制线路的通和断

　　

　　USB数据线：

　　　　用了这么久的usb数据线，估计今天你们才知道它的内部结构吧。各个线的含义：USB电源线（红线）、数据线负（白线）、数据线正（绿线）、地线（黑线）。

 

　　连接方式：

　　　　1、将USB数据线的电源线（红线）拦腰剪断，去除外部的绝缘层，让金属丝出来

　　　　2、将电源线两头裸露出来的金属丝固定在继电器的后面两个接触点上，如图所示：

　　　　当年为了做这个东西，不知道残害了多少数据线宝贵的生命，曾一度可怜到没数据线用，至今的充电线还是当年被我破坏后，又进行手术挽救回来的生命。 

　　使用方法：

　　　　使用的时候只需将继电器插在pc的usb口上，然后pc端向串口发送数据，即可控制继电器的开和断，从而觉得手机是充电还是断电。

　　　　控制继电器的pc端程序，我用c++实现了一个“TencentRelay”的程序，两种方式调用：

　　　　1、界面调用：

　　　　　　直接填写好当前继电器占用的串口号，模块地址默认为1，然后点击连接串口；连接成功后，点击”吸合”打开继电器，点击“断开”断开继电器；

　　　　2、命令行调用：

　　　　　　调用命令 ”TencentRelay.exe 3 1 open“ 打开继电器；

　　　　　　调用命令 ”TencentRelay.exe 3 1 close“ 关闭继电器；

　　　　　　其中参数二为串口号，参数三为模块地址默认为1，参数四为操作命令，只接受open和close；　

　　当继电器打开（吸合）后，继电器硬件的红色指示灯点亮，此时可以模拟充电，相反当继电器断开的时候，红色指示灯熄灭，此时处在断电的状态。

　　

　　小松鼠如何控制？

　　　　PC端我用python写了一个简单的服务器，并且用全民wifi搭建出的一个热点，手机的wifi连接到这个热点之后，它们便处于同一局域网中了。小松鼠App注册了一个电量变化的广播接收器（BroadcastReceiver）来随时接受电池电量的百分比，当手机在充电的时候，如果电量达到了预期值，则会通过UDP协议与PC端的服务器进行通信，服务器收到消息后，便会调用TencentRelay.exe来控制关闭继电器，开始性能测试。

  

设置GT

　　GT做为一款优秀的性能组件，其功能非常强大，并且支持了SDK的调用和广播方式的调用（后来才完善的），因此初期的时候，我在小松鼠内部引入了GT的jar包，通过调用SDk来实现gps轨迹的回放，开始采集性能数据，结束采集性能数据，保存文件等。下面是我使用GTsdk时封装的类，可以参考一下：

package com.bryan.testbattery;

import java.util.Calendar;

import com.bryan.data.DataTask;
import com.bryan.testbattery.activity.MainActivity;
import com.tencent.wstt.gt.client.*;
import common.CommonVar;

import android.content.Context;
import android.os.Build.VERSION;
import android.os.Bundle;
import android.widget.EditText;

public class MyGT
{
    public Context mainContext;
    
    public EditText myEditText = null;
    
    String savefilenameString = null;
    
    //--------------new
    DataTask m_dataTask;
    String m_appname;
    String savefilename = null;
    public RunShell myRunShell = null;

    public MyGT(Context parent)
    {
        mainContext = parent;
        myRunShell = new RunShell(mainContext);
        
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT Construct finishs ",CommonVar.LOG_HIDE);        
    }
    
    /** 将GT挂载到小松鼠上，启动小松鼠，GT也随之启动 */
    public void GtConnect()
    {
        GT.connect(mainContext.getApplicationContext());    
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT is connect with this APP", CommonVar.LOG_SHOW);
    }
    
    public void givedata(DataTask dt, String appname)
    {
        m_dataTask = dt;
        m_appname = appname;
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: 传递给GT的appname是："+m_appname, CommonVar.LOG_HIDE);
    }
    
    public void openPerformance()
    {        
        GTAutoTesterForApp.startTest(m_appname);
        if (m_dataTask.stu_performance.cpu)
        {
            GTAutoTesterForApp.startSample("cpu");
            GTAutoTesterForApp.startSample("jif");
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: startSample CPU，jiffs", CommonVar.LOG_SHOW);
        }
        if (m_dataTask.stu_performance.pss)
        {
            GTAutoTesterForApp.startSample("pss");            
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: startSample PSS", CommonVar.LOG_SHOW);
        }
        if (m_dataTask.stu_performance.fps)
        {
            GTAutoTesterForApp.startSample("fps");
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: startSample FPS", CommonVar.LOG_SHOW);
        }
        if (m_dataTask.stu_performance.battery)
        {
            BeginBattery();
        }
        if (m_dataTask.stu_performance.net)
        {
            GTAutoTesterForApp.startSample("net");
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: startSample NET", CommonVar.LOG_SHOW);
        }
        if (m_dataTask.stu_performance.tcpdump)
        {
            BeginTcpdump();
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: start  tcpdump", CommonVar.LOG_SHOW);
        }
    }


    public void stopGT()
    {
        if (m_dataTask.stu_performance.battery)
        {
            StopBattery();
        }
        if (m_dataTask.stu_performance.tcpdump)
        {
            StopTcpdump();
        }
        GTAutoTesterForApp.endTestAndClear(savefilename);
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: stopGT and call 'GTAutoTester.endTest( )' save to " + savefilename, CommonVar.LOG_SHOW);
    }

    
    public String CreateGTDataFileName()
    {
        
        long now = System.currentTimeMillis(); // 取得当前时间
        Calendar c = Calendar.getInstance();
        c.setTimeInMillis(now);
        
        String timeString= (c.get(Calendar.MONTH) + 1) + "~" + c.get(Calendar.DATE) + "_" + c.get(Calendar.HOUR) + "~" + c.get(Calendar.MINUTE) ;
        String versionString = myRunShell.getVersion(m_appname)+ "." +((c.get(Calendar.MONTH) + 1)*100+ c.get(Calendar.DATE));

        savefilename = "小松鼠-" + timeString + "-"+m_appname+"-"+versionString+"-"+ m_dataTask.describe;
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT:  " + savefilename+" 这个文件将是将来要保存的文件名，这里只是创建了一个字符串，没有创建真正的文件夹 ",  CommonVar.LOG_SHOW);
        return savefilename;
    }
    
    
    
    public String GetSaveFileName()
    {
        if (savefilename == null)
        {
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT:  " + savefilename+" is not exists",  CommonVar.LOG_SHOW);
            return ("date");
        }
        return savefilename;
    }

    // 回放GPS
    public void ReplayGPS()
    {
        String gtversion = myRunShell.getVersion("com.tencent.wstt.gt");
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT version is :  " + gtversion,  CommonVar.LOG_SHOW);    
        
        if (gtversion.compareTo("2.2.1") ==0)
        {
            myRunShell.CallGPSActivity();
            Bundle bundle = new Bundle();
            bundle.putString("cmd", "replay");
            bundle.putInt("seq", Integer.parseInt(m_dataTask.mockgpsvalue));
            GT.setCommand("gps", bundle);
            try
            {
                Thread.sleep(500);
            } catch (InterruptedException e)
            {
                e.printStackTrace();
            }
            //myRunShell.PushHomekey();
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: sdk-回放第 "+m_dataTask.mockgpsvalue+"个gps 的轨迹", CommonVar.LOG_SHOW);
        }
        else 
        {
            myRunShell.ShellONECommand("am broadcast -a com.tencent.wstt.gt.plugin.gps.startReplay --ei seq "+m_dataTask.mockgpsvalue+" --ei progress 0");
            ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: 广播-回放第 "+m_dataTask.mockgpsvalue+"个gps 的轨迹", CommonVar.LOG_SHOW);
        }
        
    }

    // 结束GPS的回放
    public void StopGPS()
    {
        Bundle bundle = new Bundle();
        bundle.putString("cmd", "stopReplay");
        GT.setCommand("gps", bundle);
        
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: stop ReplayGPS", CommonVar.LOG_SHOW);
    }

    // 开启电流测试
    public void BeginBattery()
    {
        Bundle bundle2 = new Bundle();
        bundle2.putString("cmd", "start");

        GT.setCommand("battery", bundle2);
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: setCommand Battery", CommonVar.LOG_SHOW);
    }

    // 结束电流测试
    public void StopBattery()
    {
        Bundle bundle2 = new Bundle();
        bundle2.putString("cmd", "stop");

        GT.setCommand("battery", bundle2);
        ((MainActivity)mainContext).ThreadUpdateLogToUI("GT: stop Battery collect", CommonVar.LOG_SHOW);
    }
    
    // 开启抓包
    public void BeginTcpdump()
    {
        myRunShell.ShellONECommand("mkdir -p /storage/emulated/0/GT/GW/"+m_appname+"/"+savefilename);
        String cmdString = "/data/data/com.tencent.wstt.gt/files/tcpdump";    
        if (m_dataTask.useWifi)
        {
             cmdString  += " -i wlan0";
        }        
        cmdString += " -p -s0 -vv -w /storage/emulated/0/GT/GW/"+m_appname+"/"+savefilename+"/res_Capture.pcap";
        
        final String tmp = cmdString;
        new Thread(new Runnable()
        {
            @Override
            public void run()
            {
                myRunShell.ShellONECommand(tmp);
            }
        }).start();
        
        
    }
    
    // 结束抓包
    public void StopTcpdump()
    {
        ProcessUtils.killprocess("tcpdump");
        try
        {
            Thread.sleep(3000);
        } catch (InterruptedException e)
        {
            e.printStackTrace();
        }
    }
    
    //取消挂载GT
    public void disconnect()
    {
        GT.disconnect(mainContext);
        try
        {
            Thread.sleep(2000);
        } catch (InterruptedException e)
        {
            e.printStackTrace();
        }
    }
}

操作App

　　之所以选取Uiautomator，两个原因：

　　1、可以脱机运行：只需将jar包push到手机中，然后在小松鼠中使用Runtime运行一句命令即可。而这个需求Appium是无法满足我的。

　　2、跨进程：一方面可以在没有源码的技术上，进行UI自动化，这个主要用在竞品对比中；另一方面提升UI自动化的稳定性，举一个很简单的例子：有一次我的自动化执行过程中失败了，原因是找不到控件，我会在出错的时候截图，当时记录下的场景是刚好有人在给我的测试机打电话，于是我在我的脚本中增加了这么一条，如果在找不到控件的时候去判断是否有电话来了，如果是，就去挂掉它。所以Robotium也不是我的菜。

　　每次的流程是：

　　小松鼠调用GT sdk开启性能采集 --> 小松鼠通过Runtime 调用 “Uiautomator” 命令开始模拟App操作  --> 小松鼠调用GT sdk停止性能采集 

        if (dataTask.stu_performance.battery || dataTask.stu_performance.cpu || dataTask.stu_performance.fps || dataTask.stu_performance.net || dataTask.stu_performance.pss
                        || dataTask.stu_performance.tcpdump)
        {
            // 根据性能选择项，启动GT监控测试
            m_gt.openPerformance();
            Thread.sleep(1500);
        }

        // 根据uiautomator命令启动APP程序        
        shell.ShellONECommand(dataTask.cmd);

        
        if (dataTask.stu_performance.battery || dataTask.stu_performance.cpu || dataTask.stu_performance.fps || dataTask.stu_performance.net || dataTask.stu_performance.pss
                        || dataTask.stu_performance.tcpdump)
        {
            m_gt.stopGT();
            Thread.sleep(3000);

        }

　　这样的方式调用Uiautomator命令，是一个同步的过程，因此Uiautomator的执行时间就决定了性能采集的时长，因此在写脚本的时候，发起导航后，需要sleep的时间就是到达目的地的时间。

小有成果

---

简介　　

　　做完上述的所有工作之后，小松鼠第一代诞生了：

　　先简单介绍这个工具的各个控件的含义吧：

　　参数设置：

　　　　预期电量值：当你设置之后，只有当前手机电量的百分比大于等于这个值后，App才会给PC发消息关掉继电器，然后进行后面的流程；

　　　　服务器IP：电脑上共享来的无线网卡的ip地址；

　　　　测试用网络：uiautomator开始运行时使用wifi还是3G网络；

　　　　性能测试项：勾选哪一项，就会通过调用再采集的时候只采集该项；

　　　　执行场景：勾选哪一项，就会执行对应的uiautomator脚本；

　　　　GT保存路径：采集完成之后，性能数据保存的文件夹名称

　　当前状态：

　　　　这一栏当时在做的过程中主要是调试用的。

　　　　wifi状态代表当前wifi是打开还是关闭；电量状态代表的是当前手机电池电量的百分比。

　　log：

　　　　当出现错误时，可以初步定为问题，因此保留log在主界面。

　　操作：

　　　　当配置栏设置好之后，点击开始即触发了任务。结束会停止任务。

使用步骤

　　知道了App的参数含义后，相信大家已经基本会用了吧。每一次的性能测试，我们都可以通过这样的方式来进行：

　　1、 将继电器插在PC端，并且使继电器处于吸合（打开）状态，将搭载继电器USB线两端分别连接电源和手机，使手机处于充电状态；

　　2、 给手机安装APP TestBattery，启动APP之前，关闭GT和路宝；

　　3、 配置好局域网，填好局域网内IP地址，将PC端服务器打开；

　　4、 打开手机端APP，设置预期电量值、服务器IP地址、性能测试项、测试场景、日志存放文件夹名称等一系列参数，设置完毕后，点击开始按钮；

　　5、此时APP出于检测状态，电量状态当手机实际电量等于填写的预期电量值时，就会触发关闭继电器，开始性能测试，性能测试的整个过程中，GT实时地采集性能数据，待一个场景测试结束后，手机自动连接WIFI给PC端服务器发消息；

　　6、 PC端收到数据后就会打开继电器，再次进入充电状态；

　　7、 这样一轮测试就结束了，本次保存的性能测试数据存放在手机中的GT目录下；

不足

　　很显然这个方案相比较之前的方案，已经省去了很多的人力，每一次的测试都需要提前准备好继电器，并且配置好App，点击开始即可进行了。但是仍然有可以改进的地方：

　　1、UI不美观：

　　　　虽然这是一个自己使用的App，但是它也有一颗登上大舞台的心，梦想还是要有的，万一实现了呢？因此有一套美观的UI也是一个像样点App的最基本的要求；

　　2、配置缺陷：

　　　　不知道有没有人发现，每次测试的时候都需要配置一次，并且每次只能测试一个场景，如果要是一次能配置多个场景，让它一个接一个的执行，这样则更加方便了；

　　3、无法测试其他App：

　　　　在 “执行场景” 这个地方，Uiautomator脚本和对于的场景是在Android代码里写死了，如果要运行其他程序，则需要改源码。

　　4、结果处理：

　　　　目前在一轮性能测试结束后，采集的性能数据结果存放在手机上GT的目录下，不方便即时的查看，不能做到数据的实时展示。

浴火重生

---

　　就这样我决定针对第一版的不足去大改一次它，即使它已经服役了好几个版本的路宝性能测试的采集工作。

　　再经历了两个月后，新版的小松鼠出炉了！！

　　你可以看到除了UI上有了很大的进步（做为一个写代码的，ui做成这样，我觉得已经可以了），功能变的更加的强大，解决了第一版的所有缺陷，当然功能越强大带来的问题就是操作性上可能更繁琐了，这里的操作可能更多的就是配置了，因此为了解决这个问题，我在配置这一块支持了外部配置，即使用一个xml的配置文件即可完成配置。好了，我们先看看配置文件的定义吧。

<?xml version="1.0" encoding="utf-8"?>
<Performance>
    <!-- 要测试的应用程序的名称 -->
    <Application>
        <Name>com.tencent.navsns</Name>
    </Application>
            
    <!-- pc端服务器 -->
    <Server>
        <Ip>10.2.9.207</Ip>
        <Port>8885</Port>
    </Server>
    
    <!-- 测试内容 会一个一个模块进行执行 -->
    <TestTask>
        <!-- 几个测试的模块-->
        <count>2</Module2>
        <!-- 第一个测试模块项 -->
        <Module1>
            <!-- 电量设置信息 -->
            <Battery>
                <!-- yes代表使用控制充电技术 no代表不使用-->
                <Use>yes</Use>
                <!-- 当电量到达value的百分比值后，断电 -->
                <Value>90</Value>
                <!-- 断电后静置的时间，为了防止充完电手机发热影响测试数据 单位s -->
                <Waittime>60</Waittime>
            </Battery>
            <!-- 回放GT当中的第几个GPS文件（回头改成自己的） -->
            <Mockgps>
                <!-- yes代表使用回放GPS -->
                <Use>yes</Use>
                <!-- 回放第几个文件，从0开始 -->
                <Value>0</Value>
            </Mockgps>
            <!-- 代表应用程序运行起来后使用的网络 no就使用3G数据 -->
            <Network>
                <Wifi>yes</Wifi>
            </Network>
            <!-- 测试时的音量值 -->
            <Audio>
                <!-- 测试时的进行修改音量为指定值 -->
                <Use>yes</Use>
                <Value>90</Value>
            </Audio>
            <!-- 测试时的屏幕亮度值 -->
            <Brightness>
                <!-- 测试时的进行修改屏幕亮度为指定值 -->
                <Use>yes</Use>
                <Value>90</Value>
            </Brightness>
            <!-- 测试时是否开启防止手机休眠（即使按下电源键屏幕暗了也不休眠） -->
            <Wakelock>yes</Wakelock>
            <!-- 性能测试项 -->
            <PerformOption>
                <Battery>yes</Battery>
                <Cpu>yes</Cpu>
                <!-- 内存 -->
                <Pss>yes</Pss>
                <Fps>yes</Fps>
                <Net>yes</Net>
                <!-- 抓包 -->
                <Tcpdump>yes</Tcpdump>
            </PerformOption>
            <!-- 要进行测试的应用程序的模拟 -->
            <Execution>
                <Describe>导航前台</Describe>
                <!-- 模拟应用程序的脚本命令 -->
                <Command>uiautomator runtest Testxiaolu.jar -c fby.test.uiautomator.NaviBack</Command>
            </Execution>
            <!-- 执行完本模块后休息一段时间再进行下一个模块 单位s -->
            <Sleeptime>10</Sleeptime>
        </Module1>
        
        <!-- 第二个测试模块项 -->
        <Module2>
            <Battery>
                <Use>no</Use>
                <Value>90</Value>
                <Waittime>60</Waittime>
            </Battery>
            
            <!-- ********* -->
            <!-- ********* -->
            <!-- ********* -->        
            
            <Sleeptime>10</Sleeptime>
        </Module2>
    </TestTask>
</Performance>

　　从配置可以看出我们支持了更多的东西：

　　　　1、每次测试的手机环境，除了保证电量的一致性，还可以设置手机的音量大小和屏幕亮度，后台灭屏场景的测试可以设置是否打开wakelock锁。

　　　　2、测试回放的场景的脚本，支持为了可配置，当然为了方便，我把经常用的直接编译到了我的app中。

　　　　选取了对应的场景之后，Uiautomator脚本的运行命令就帮我自动的填写在了这个地方。

　　　　当然你可以自己在可以编辑你的运行命令，或者是在xml中进行配置即可。

　　现在每天我都会用最新的提测包，去测试一组性能数据。我的配置文件是固定，存在手机sd卡的根目录下即可。如果每次需要修改，直接修改xml即可。

　　当手机中有了配置文件之后，小松鼠会自动读取这些测试场景：

 

　　这个时候，只需点击 “开始” 即可。

　　因为每次测完一个场景之后，都会进行 “智能充电” 的过程，因此我的这些脚本一般能运行一晚上的时间，我只需要第二天来了之后，处理数据即可。我们看看现场的环境：　　

　　来张近照

　　前面提到，我的PC的服务器，它除了可以接受小松鼠发来的控制继电器的命令外，它还可以接受每次性能数据采集完成之后的发来的性能数据压缩包。

　　

　　接受到这些压缩包后，服务器端的脚本程序可以对这些压缩包中的数据进行处理，得到每一项指标的数据，

　　得到这些数据之后，我们将这些数据组织后，传到我们组的 “八爪鱼” 平台（http://10.123.12.78:8080/AutomacPlatform/index#/about）来进行结果展示：

　　目前数据是将当前版本和之前版本的数据进行对比，每个场景的多项指标数据，可以通过滚动来查看：

　　

　　到此，你就已经了解到了小松鼠是 “一键开始性能测试，到最终所有结果上传到web端进行展示” 的全部过程。

　　整个过程中遇到踩了不少坑，但是也积累了很多宝贵的经验，如果你对性能数据的采集也感兴趣，那么请联系我。

　　

未来

---

　　就目前而言，性能采集的部分已经相对其他工具已经算是比较完善了，但是性能之所以做为项目组关注的重点，其分析、定位问题是很重要的，目前这一块，我们还没有深入的进行，因此后面的计划，就是如何采集出更加精确的数据，并且进行更加精准的分析，然后在web的每日监控中发现问题可以更加快速的定位到问题。期待我的下个半年...