C++ CGI报“资源访问错误”问题分析

一线上CGI偶发性会报“资源访问错误”，经过分析得出是因为CgiHost没有读取到CGI的任务输出，即CGI运行完成后连HTTP头都没有一点输出。

然而实际上，不可能没有任何输出，因为CGI至少有无条件的HTTP头部分输出，因此问题是输出丢失了。CGI和CgiHost间是通过重定向CGI的标准输出到Unix套接字进行交互的，如果这个套接字坏了，或者CGI的标准输出关闭了，自然不会有任何输出。但经测试，如果是关闭了套接字，报的错误不一样，因此直接排除这个可能。

经调查，该CGI的输出使用是C++库的std::cout，不是printf这套C库I/O，初步推断是std::cout对象的状态值不是goodbit。不是goodbit主要分三种情况：

1) 人为置为badbit等；

2) 程序有越界造成状态为badbit或failbit等；

3) 有类似“char* str=NULL; std::cout << str”的调用出现，造成状态为badbit；

4) std::cout调用的basic_streambuf<typename _CharT, typename _Traits>::sputn返回的大小不是期望值，造成状态为failbit。

从了解来看，第三种和第四种情况概率高出许多：

#include <iosfwd>

namespace std

{

  template<typename _CharT, typename _Traits = char_traits<_CharT> >

  class basic_ostream;

  typedef basic_ostream<char> ostream;

}

#include <iostream>

namespace std

{

  extern istream cin; /// Linked to standard input

  extern ostream cout; /// Linked to standard output

  extern ostream cerr; /// Linked to standard error (unbuffered)

  extern ostream clog; /// Linked to standard error (buffered)

}

#include <ostream>

namespace std

{

  // Partial specializations

  template<class _Traits>

  inline basic_ostream<char, _Traits>&

  operator<<(basic_ostream<char, _Traits>& __out, const char* __s) // 一个全局函数

  {

    if (!__s) // 如果“__s”此时是NULL

      __out.setstate(ios_base::badbit); // 其它一些情况，可查看源码文件ostream.tcc

    else

      __ostream_insert(__out, __s, static_cast<streamsize>(_Traits::length(__s)));

    return __out;

  }

  // __ostream_write是一个位于名字空间std中的全局函数

  // __ostream_write被兄弟函数__ostream_insert调用，

  // 而__ostream_insert又被函数全局函数operator<<调用

  template<typename _CharT, typename _Traits>

  inline void

  __ostream_write(basic_ostream<_CharT, _Traits>& __out,

    const _CharT* __s, streamsize __n)

  {

    typedef basic_ostream<_CharT, _Traits> __ostream_type;      

    typedef typename __ostream_type::ios_base __ios_base;

    // 类basic_streambuf的成员函数sputn实际调用的是兄弟函数xsputn

    // 而xsputn是一个虚拟函数。

    // 虚类basic_streambuf有两个具体的子类：stringbuf和filebuf，

    // 对std::cout而言，对应的是filebuf，xsputn底层调用的实际是write函数。

    // 注：

    // file版的xsputn实现在文件fstream.tcc中，

    // string版的xsputn实现在文件streambuf.tcc中。

    const streamsize __put = __out.rdbuf()->sputn(__s, __n);

    if (__put != __n)

      __out.setstate(__ios_base::badbit);

  }

  template<typename _CharT, typename _Traits>

  class basic_streambuf { // 虚拟基类

  public:

    virtual streamsize xsputn(const char_type* __s, streamsize __n);

  };

  class basic_stringbuf: public basic_streambuf; // 字符串子类

  class basic_filebuf: public basic_streambuf; // 文件子类

}

typedef _Ios_Iostate iostate;

enum _Ios_Iostate

{

  _S_goodbit  = 0,

  _S_badbit  = 1L << 0, // cout << (char*)NULL

  _S_eofbit = 1L << 1,

  _S_failbit = 1L << 2, // write(buf,n) < n

  _S_ios_iostate_end = 1L << 16

};

// 注：

// ios_base是一个普通类，并不是模板类

class ios_base

{

  Iostate _M_streambuf_state;

  basic_streambuf<_CharT, _Traits>* _M_streambuf; // 对于fstream实际为basic_filebuf

};

template<typename _CharT, typename _Traits>

class basic_ios : public ios_base

{

};

// 这里用到了virtual继承，

// 因为子类basic_iostream会同时继承basic_istream和basic_ostream，

// 出现共享basic_ios，所以需要使用virtual继承

template<typename _CharT, typename _Traits>

class basic_ostream : virtual public basic_ios<_CharT, _Traits>

{

};

(gdb) ptype std::char_traits<char>

type = struct std::char_traits<char> {

  public:

    static void assign(char_type &, const char_type &);

    static char_type * assign(char_type *, std::size_t, char_type);

    static bool eq(const char_type &, const char_type &);

    static bool lt(const char_type &, const char_type &);

    static int_type compare(const char_type *, const char_type *, std::size_t);

    static std::size_t length(const char_type *);

    static const char_type * find(const char_type *, std::size_t, const char_type &);

    static char_type * move(char_type *, const char_type *, std::size_t);

    static char_type * copy(char_type *, const char_type *, std::size_t);

    static char_type to_char_type(const int_type &);

    static int_type to_int_type(const char_type &);

    static bool eq_int_type(const int_type &, const int_type &);

    static int_type eof(void);

    static int_type not_eof(const int_type &);

    typedef char char_type;

    typedef int int_type;

}

尝试使用GDB实地考察，遗憾的是无法对std::cout进行Debug，所以只有直接修改代码线上验证。但如果有办法取得std::cout的地址，然后根据对象的内存布局，找到成员_M_streambuf_state的内存位置，也是可以查看和动态修改的。

(gdb) p std::cout

No symbol "cout" in namespace "std".

(gdb) p &std::cout

No symbol "cout" in namespace "std".

找到std::cout在进程中的位置，以便找到其成员_M_streambuf_state在进程中的位置

(gdb) p _ZSt4cout

$1 = -144214548

(gdb) call write(1,"1234567890",10)

$6 = -1

(gdb) p *__errno_location()

$4 = 5

(gdb) whatis std::cout

type = std::ostream

(gdb) ptype std::cout

type = std::ostream

(gdb) p &std::cout

$1 = (std::ostream *) 0x7ffff7dd8700 <std::cout>

(gdb) ptype std::ostream   

type = std::ostream

(gdb) p std::cout

$1 = <incomplete type>

(gdb) p &std::cout

$3 = (std::ostream *) 0x7ffff7dd8700 <std::cout>

(gdb) p *(std::ostream *)&std::cout

$4 = <incomplete type>

(gdb) info symbol 0x7ffff7dd8700

std::cout in section .bss of /lib64/libstdc++.so.6

(gdb) info address std::cout

Symbol "std::cout" is static storage at address 0x7ffff7dd8700.

(gdb) set solib-search-path /lib64

(gdb) info share 或 info sharedlibrary

From                To                  Syms Read   Shared Object Library

0x00007ffff7ddbb10  0x00007ffff7df6460  Yes (*)     /lib64/ld-linux-x86-64.so.2

0x00007ffff7ef4060  0x00007ffff7ef54f8  Yes         /lib64/libonion.so

0x00007ffff7b2e510  0x00007ffff7b9559a  Yes (*)     /lib64/libstdc++.so.6

0x00007ffff77d6370  0x00007ffff7841278  Yes (*)     /lib64/libm.so.6

0x00007ffff75bdaf0  0x00007ffff75cd298  Yes (*)     /lib64/libgcc_s.so.1

0x00007ffff7216480  0x00007ffff735cc00  Yes (*)     /lib64/libc.so.6

0x00007ffff6ff3e60  0x00007ffff6ff4960  Yes (*)     /lib64/libdl.so.2

(*): Shared library is missing debugging information.

(gdb) sharedlibrary libstdc

Symbols already loaded for /lib64/libstdc++.so.6

(gdb) sharedlibrary libstdc++

Symbols already loaded for /lib64/libstdc++.so.6

# lsof -p 4442

cgihost  4442 root    0r   CHR         1,3      0t0      1028 /dev/null

cgihost  4442 root    1u   CHR         136,2    0t0         5 /dev/pts/2 (deleted)

cgihost  4442 root    2u   CHR         136,2    0t0         5 /dev/pts/2 (deleted)

cgihost  4442 root    3u   REG         253,17   1144245   2097190 /data/cgi/log/httpserver/cgi_test.log

cgihost  4442 root    4u  0000         0,9      0      6842 anon_inode

cgihost  4442 root    7u   REG         253,1    144   1360125 /usr/local/httpserver/bin/map/mem-cgi-bin-test

cgihost  4442 root    8u  unix 0xffff880006933b80      0t0 831550706 socket

# pmap 4442

# objdump -t test|grep _ZSt4cout

0000000000601080 g     O .bss   0000000000000110              _ZSt4cout@@GLIBCXX_3.4

# readelf -s /usr/lib/libstdc++.so.6|grep cout

   Num:    Value  Size Type    Bind   Vis      Ndx Name

   884: 000e3ec0   140 OBJECT  GLOBAL DEFAULT   27 _ZSt4cout@@GLIBCXX_3.4

   902: 000e4140   144 OBJECT  GLOBAL DEFAULT   27 _ZSt5wcout@@GLIBCXX_3.4

# readelf -r /usr/lib/libstdc++.so.6|grep cout

Offset     Info    Type            Sym.Value  Sym. Name

000e2b64  00038606 R_386_GLOB_DAT    000e4140   _ZSt5wcout

000e2ea0  00037406 R_386_GLOB_DAT    000e3ec0   _ZSt4cout

如果希望能够Debug标准库中的设施，可在编译时加上开关“-D_GLIBCXX_DEBUG”。

实际上，即使不能GDB中直接得到std::cout的地址，特别是其成员_M_streambuf_state的地址，但可采取变通的办法取得。

先编写如下一小段代码，然后执行这一小段代码，取得成员_M_streambuf_state和std::cout间的偏移Offset，以方便得到std::cout地址时取得成员_M_streambuf_state的地址，以达到修改成员_M_streambuf_state值的目的。

#include <stdio.h>

#include <iostream>

int main()

{

  const int n = (unsigned long)&std::cout._M_streambuf_state - (unsigned long)&std::cout;

  printf("offset: %d ", n);

  return 0;

}

注意，编译之前需要修改标准库头文件ios_base.h，将_M_streambuf_state的类型由protected改成public。不然，应当修改小段代码成如下：

#include <stdio.h>

#include <iostream>

class X: public std::ostream

{

public:

  using std::ostream::_M_streambuf_state;

};

int main()

{

  X x;

  const int n = (unsigned long)&x._M_streambuf_state - (unsigned long)&x;

  printf("offset: %d ", n);

  return 0;

}

当前的多数环境上，offset值一般为40。

如果是可执行程序文件，找cout的地址简单多（“0000000000601280”即为cout的内存地址）：

# file xxx

xxx: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.18, not stripped

# objdump -t xxx|grep cout

0000000000601280 g     O .bss   0000000000000110              _ZSt4cout@@GLIBCXX_3.4

这里介绍一种通用的取std::cout地址，及std::cout的_M_streambuf_state成员偏移方式。得到std::cout的地址和成员_M_streambuf_state的偏移，实际也就得到了成员_M_streambuf_state的地址，有了地址就可以控制它了。

首先，编写如下这样的一小段Hook代码：

// hooker.cpp

#include <iostream>

#include <stdio.h>

class Hooker

{

public:

  Hooker()

  {

    // 得到std::cout的成员_M_streambuf_state偏移

    const int offset = (unsigned long)&std::cout._M_streambuf_state - (unsigned long)&std::cout;

    FILE* fp = fopen("/tmp/hooker.txt", "w+");

    fprintf(fp, "&std::cout: %p, offset: %d, _M_streambuf_state: %p ",

      &std::cout, offset, &std::cout+offset);

    fclose(fp);    

  }

};

static Hooker __hooker;

这小段代码的目的是为得到std::cout成员_M_streambuf_state的内存地址，以方便在GDB中控制它。将Hook代码编译成共享库：

g++ -g -o libhooker.so -fPIC -shared hooker.cpp

如果是64位系统，需要编译成32位的共享库，则编译命令为：

g++ -m32 -g -o libhooker.so -fPIC -shared hooker.cpp

假设将libhooker.so放在/tmp目录下，先使用GDB进入目标进程，假设目标进程ID为2019，则：

# gdb -p 2019

在GDB中加载共享库，这样共享库中的全局变量的构造函数将执行，从而可从文件/tmp/hooker.txt中得到想要的信息

(gdb) call dlopen("/tmp/libhooker.so",258)

(gdb) c

假设/tmp/hooker.txt中std::cout的地址为0xf76f9ec0，成员_M_streambuf_state的偏移为24，则在GDB中可如下查看_M_streambuf_state的值：

(gdb) p *(int*)(0xf76f9ec0+24)

也可在GDB中执行如下命令确认：

(gdb) info symbol (0xf76f9ec0+24)

可在GDB中执行如下命令修改_M_streambuf_state的值：

(gdb) set *(int*)(0xf76f9ec0+24)=1

掌握了Hook方法后，查明原因就十分简单了。这个方法有一个前提，目标进程有链接libdl.so，因为它提供了加载共享库函数dlopen的。确认是否链接了libdl.so方法，使用ldd即可：

$ ldd z

        linux-vdso.so.1 =>  (0x00007ffde7822000)

        /$LIB/libonion.so => /lib64/libonion.so (0x00007f4872630000)

        libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f487220f000)

        libm.so.6 => /lib64/libm.so.6 (0x00007f4871f0d000)

        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f4871cf7000)

        libc.so.6 => /lib64/libc.so.6 (0x00007f4871933000)

        libdl.so.2 => /lib64/libdl.so.2 (0x00007f487172f000)

        /lib64/ld-linux-x86-64.so.2 (0x00007f4872517000)