zoukankan      html  css  js  c++  java
  • GNU--gprof使用总结

    Added macros ACE_USES_GPROF which enables users to use gprof in a multithreaded environment with ACE libs.多线程开启gprof性能测试的简易方法(转)

    用到gprof时才知道,原来gprof只能对主线程统计耗时。manual上也没写线程相关的问题啊?

    不过有现成的解决方案:http://sam.zoy.org/writings/programming/gprof.html

    该方案封装了pthread_create(), 让线程初始化执行一个setitimer(ITIMER_PROF, ...)。

    简易的方法是直接在代码中写个setitimer()。

     1 #include <sys/time.h>
     2 #include <boost/thread.hpp>
     3 
     4 struct itimerval g_itimer;
     5 
     6 void foo()
     7 {
     8     setitimer(ITIMER_PROF, &g_itimer, NULL);
     9     for (int i = 0; i < 10000000; i++)
    10         (void)i;
    11 }
    12 
    13 int main()
    14 {
    15     getitimer(ITIMER_PROF, &g_itimer);
    16     boost::thread t(&foo);
    17     t.join();
    18     return 0;

    19 } 

    g++ main.cpp -pg -lboost_thread

    ./a.out

    gprof

    这样就能统计出foo()的耗时了。没有setitimer()就不会有foo()的耗时统计。

    Linux性能评测工具--gprof篇(转载) 

           这些天自己试着对项目作一些压力测试和性能优化,也对用过的测试工具作一些总结,并把相关的资料作一个汇总,以便以后信手拈来!

    简介

    改进应用程序的性能是一项非常耗时耗力的工作,但是究竟程序中是哪些函数消耗掉了大部分执行时间,这通常都不是非常明显的。GNU 编译器工具包所提供了一种剖析工具 GNU profiler(gprof)。gprof 可以为 Linux平台上的程序精确分析性能瓶颈。gprof精确地给出函数被调用的时间和次数,给出函数调用关系。

    gprof 用户手册网站 http://sourceware.org/binutils/docs-2.17/gprof/index.html

    功能

    Gprof 是GNU gnu binutils工具之一,默认情况下linux系统当中都带有这个工具。

    1. 可以显示“flat profile”,包括每个函数的调用次数,每个函数消耗的处理器时间,

    2. 可以显示“Call graph”,包括函数的调用关系,每个函数调用花费了多少时间。

    3. 可以显示“注释的源代码”--是程序源代码的一个复本,标记有程序中每行代码的执行次数。

    原理

    通过在编译和链接程序的时候(使用 -pg 编译和链接选项),gcc 在你应用程序的每个函数中都加入了一个名为mcount ( or  “_mcount”  , or  “__mcount” , 依赖于编译器或操作系统)的函数,也就是说你的应用程序里的每一个函数都会调用mcount, 而mcount 会在内存中保存一张函数调用图,并通过函数调用堆栈的形式查找子函数和父函数的地址。这张调用图也保存了所有与函数相关的调用时间,调用次数等等的所有信息。

    使用流程

    1. 在编译和链接时 加上-pg选项。一般我们可以加在 makefile 中。

    2. 执行编译的二进制程序。执行参数和方式同以前。

    3. 在程序运行目录下 生成 gmon.out 文件。如果原来有gmon.out 文件,将会被重写。

    4. 结束进程。这时 gmon.out 会再次被刷新。

    5. 用 gprof 工具分析 gmon.out 文件。

    参数说明

    -b 不再输出统计图表中每个字段的详细描述。

    -p 只输出函数的调用图(Call graph的那部分信息)。

    -q 只输出函数的时间消耗列表。

    -e Name 不再输出函数Name 及其子函数的调用图(除非它们有未被限制的其它父函数)。可以给定多个 -e 标志。一个 -e 标志只能指定一个函数。

    -E Name 不再输出函数Name 及其子函数的调用图,此标志类似于 -e 标志,但它在总时间和百分比时间的计算中排除了由函数Name 及其子函数所用的时间。

    -f Name 输出函数Name 及其子函数的调用图。可以指定多个 -f 标志。一个 -f 标志只能指定一个函数。

    -F Name 输出函数Name 及其子函数的调用图,它类似于 -f 标志,但它在总时间和百分比时间计算中仅使用所打印的例程的时间。可以指定多个 -F 标志。一个 -F 标志只能指定一个函数。-F 标志覆盖 -E 标志。

    -z 显示使用次数为零的例程(按照调用计数和累积时间计算)。

    一般用法: gprof b 二进制程序 gmon.out >report.txt

    报告说明

    Gprof 产生的信息解释:

      %time

    Cumulative

    seconds

    Self 

    Seconds

    Calls

    Self

    TS/call

    Total

    TS/call

    name

    该函数消耗时间占程序所有时间百分比

    程序的累积执行时间

    (只是包括gprof能够监控到的函数)

    该函数本身执行时间

    所有被调用次数的合共时间

    函数被调用次数

    函数平均执行时间

    (不包括被调用时间)

    函数的单次执行时间

    函数平均执行时间

    (包括被调用时间)

    函数的单次执行时间

    函数名

    Call Graph 的字段含义:

    Index

    %time

    Self

    Children

    Called

    Name

    索引值

    函数消耗时间占所有时间百分比

    函数本身执行时间

    执行子函数所用时间

    被调用次数

    函数名

    注意:

    程序的累积执行时间只是包括gprof能够监控到的函数。工作在内核态的函数和没有加-pg编译的第三方库函数是无法被gprof能够监控到的,(如sleep()等)

    Gprof 的具体参数可以 通过 man gprof 查询。

    共享库的支持

    对于代码剖析的支持是由编译器增加的,因此如果希望从共享库中获得剖析信息,就需要使用 -pg 来编译这些库提供已经启用代码剖析支持而编译的 C 库版本(libc_p.a)。

    如果需要分析系统函数(如libc库),可以用 lc_p替换-lc。这样程序会链接libc_p.so或libc_p.a。这非常重要,因为只有这样才能监控到底层的c库函数的执行时间,(例如memcpy(),memset(),sprintf()等)。

    gcc example1.c –pg -lc_p -o example1

    注意要用ldd ./example | grep libc来查看程序链接的是libc.so还是libc_p.so

    用户时间与内核时间

    gprof 的最大缺陷:它只能分析应用程序在运行过程中所消耗掉的用户时间,无法得到程序内核空间的运行时间。通常来说,应用程序在运行时既要花费一些时间来运行用户代码,也要花费一些时间来运行 “系统代码”,例如内核系统调用sleep()。

    有一个方法可以查看应用程序的运行时间组成,在 time 命令下面执行程序。这个命令会显示一个应用程序的实际运行时间、用户空间运行时间、内核空间运行时间

    如 time ./program

    输出:

    real    2m30.295s

    user    0m0.000s

    sys     0m0.004s

    注意事项

    1. g++在编译和链接两个过程,都要使用-pg选项。

    2. 只能使用静态连接libc库,否则在初始化*.so之前就调用profile代码会引起“segmentation fault”,解决办法是编译时加上-static-libgcc或-static。

    3. 如果不用g++而使用ld直接链接程序,要加上链接文件/lib/gcrt0.o,如ld -o myprog /lib/gcrt0.o myprog.o utils.o -lc_p。也可能是gcrt1.o

    4. 要监控到第三方库函数的执行时间,第三方库也必须是添加 pg 选项编译的。

    5. gprof只能分析应用程序所消耗掉的用户时间.

    6. 程序不能以demon方式运行。否则采集不到时间。(可采集到调用次数)

    7. 首先使用 time 来运行程序从而判断 gprof 是否能产生有用信息是个好方法。

    8. 如果 gprof 不适合您的剖析需要,那么还有其他一些工具可以克服 gprof 部分缺陷,包括 OProfile 和 Sysprof。

    9. gprof对于代码大部分是用户空间的CPU密集型的程序用处明显。对于大部分时间运行在内核空间或者由于外部因素(例如操作系统的 I/O 子系统过载)而运行得非常慢的程序难以进行优化。

    10. gprof 不支持多线程应用,多线程下只能采集主线程性能数据。原因是gprof采用ITIMER_PROF信号,在多线程内只有主线程才能响应该信号。但是有一个简单的方法可以解决这一问题:http://sam.zoy.org/writings/programming/gprof.html

    11. gprof只能在程序正常结束退出之后才能生成报告(gmon.out)。

    a) 原因: gprof通过在atexit()里注册了一个函数来产生结果信息,任何非正常退出都不会执行atexit()的动作,所以不会产生gmon.out文件。

    b) 程序可从main函数中正常退出,或者通过系统调用exit()函数退出。

    10 多线程应用

    gprof 不支持多线程应用,多线程下只能采集主线程性能数据。原因是gprof采用ITIMER_PROF信号,在多线程内只有主线程才能响应该信号。

    采用什么方法才能够分析所有线程呢?关键是能够让各个线程都响应ITIMER_PROF信号。可以通过桩子函数来实现,重写pthread_create函数

    //////////////////// gprof-helper.c////////////////////////////

    #define _GNU_SOURCE

    #include <sys/time.h>

    #include <stdio.h>

    #include <stdlib.h>

    #include <dlfcn.h>

    #include <pthread.h>

    static void * wrapper_routine(void *);

    /* Original pthread function */

    static int (*pthread_create_orig)(pthread_t *__restrict,

                                      __const pthread_attr_t *__restrict,

                                      void *(*)(void *),

                                      void *__restrict) = NULL;

    /* Library initialization function */

    void wooinit(void) __attribute__((constructor));

    void wooinit(void)

    {

        pthread_create_orig = dlsym(RTLD_NEXT, "pthread_create");

        fprintf(stderr, "pthreads: using profiling hooks for gprof/n");

        if(pthread_create_orig == NULL)

        {

            char *error = dlerror();

            if(error == NULL)

            {

                error = "pthread_create is NULL";

            }

            fprintf(stderr, "%s/n", error);

            exit(EXIT_FAILURE);

        }

    }

    /* Our data structure passed to the wrapper */

    typedef struct wrapper_s

    {

        void * (*start_routine)(void *);

        void * arg;

        pthread_mutex_t lock;

        pthread_cond_t  wait;

        struct itimerval itimer;

    } wrapper_t;

    /* The wrapper function in charge for setting the itimer value */

    static void * wrapper_routine(void * data)

    {

        /* Put user data in thread-local variables */

        void * (*start_routine)(void *) = ((wrapper_t*)data)->;start_routine;

        void * arg = ((wrapper_t*)data)->;arg;

        /* Set the profile timer value */

        setitimer(ITIMER_PROF, &((wrapper_t*)data)->;itimer, NULL);

        /* Tell the calling thread that we don't need its data anymore */

        pthread_mutex_lock(&((wrapper_t*)data)->;lock);

        pthread_cond_signal(&((wrapper_t*)data)->;wait);

        pthread_mutex_unlock(&((wrapper_t*)data)->;lock);

        /* Call the real function */

        return start_routine(arg);

    }

    /* Our wrapper function for the real pthread_create() */

    int pthread_create(pthread_t *__restrict thread,

                       __const pthread_attr_t *__restrict attr,

                       void * (*start_routine)(void *),

                       void *__restrict arg)

    {

        wrapper_t wrapper_data;

        int i_return;

        /* Initialize the wrapper structure */

        wrapper_data.start_routine = start_routine;

        wrapper_data.arg = arg;

        getitimer(ITIMER_PROF, &wrapper_data.itimer);

        pthread_cond_init(&wrapper_data.wait, NULL);

        pthread_mutex_init(&wrapper_data.lock, NULL);

        pthread_mutex_lock(&wrapper_data.lock);

        /* The real pthread_create call */

        i_return = pthread_create_orig(thread,

                                       attr,

                                       &wrapper_routine,

                                       &wrapper_data);

        /* If the thread was successfully spawned, wait for the data

         * to be released */

        if(i_return == 0)

        {

            pthread_cond_wait(&wrapper_data.wait, &wrapper_data.lock);

        }

        pthread_mutex_unlock(&wrapper_data.lock);

        pthread_mutex_destroy(&wrapper_data.lock);

        pthread_cond_destroy(&wrapper_data.wait);

        return i_return;

    }

    ///////////////////

    然后编译成动态库 gcc -shared -fPIC gprof-helper.c -o gprof-helper.so -lpthread -ldl 

    使用例子:

    /////////////////////a.c/////////////////////////////

    #include <stdio.h>;

    #include <stdlib.h>;

    #include <unistd.h>;

    #include <pthread.h>;

    #include <string.h>;

    void fun1();

    void fun2();

    void* fun(void * argv);

    int main()

    {

            int i =0;

            int id;

            pthread_t    thread[100];

            for(i =0 ;i< 100; i++)

            {

                    id = pthread_create(&thread[i], NULL, fun, NULL);

                    printf("thread =%d/n",i);

            }

            printf("dsfsd/n");

            return 0;

    }

    void*  fun(void * argv)

    {

            fun1();

            fun2();

            return NULL;

    }

    void fun1()

    {

            int i = 0;

            while(i<100)

            {

                    i++;        

                    printf("fun1/n");

            }        

    }

    void fun2()

    {

            int i = 0;

            int b;

            while(i<50)

            {

                    i++;

                    printf("fun2/n");

                    //b+=i;        

            }        

    }

    ///////////////

    gcc -pg a.c  gprof-helper.so

    运行程序:

    ./a.out

    分析gmon.out:

    gprof -b a.out gmon.out

    使用ACE库时 

    ACE_USES_GPROF;

    Added macros ACE_USES_GPROF which enables users to use gprof in a
      multithreaded environment with ACE libs.
    http://svn.osgeo.org/mapguide/sandbox/adsk/2.2gp/Oem/ACE/ACE_wrappers/NEWS

    实际,我没有添加也没有问题。

    程序启停

    服务器启停时,需要使用信号。如果非正常退出,不能生存或只能生成部分信息。(坑死我了,有模块停时是kill的) 

  • 相关阅读:
    caffe杂
    easyui 扩展layout的方法,支持动态添加删除块
    easyui换主题,并记录在cookie
    $.messager.show扩展:指定位置显示
    easyui 扩展 之 Tree的simpleData加载
    easyui menu 添加hideItem/showItem 方法
    HTML标签及属性大全
    适应各种内核浏览器的透明修过样式
    让IE6支持min-width和max-width的方法
    javascript获取html标记的的绝对定位值
  • 原文地址:https://www.cnblogs.com/onlyforcloud/p/4395917.html
Copyright © 2011-2022 走看看