zoukankan      html  css  js  c++  java
  • 字节对齐

    转自字节对齐


    一、概念
       对齐跟数据在内存中的位置有关。如果一个变量的内存地址正好位于它长度的整数倍,他就被称做自然对齐。比如在32位cpu下,假设一个整型变量的地址为0x00000004,那它就是自然对齐的。
    二、为什么要字节对齐
       需要字节对齐的根本原因在于CPU访问数据的效率问题。假设上面整型变量的地址不是自然对齐,比如为0x00000002,则CPU如果取它的值的话需要访问两次内存,第一次取从0x00000002-0x00000003的一个short,第二次取从0x00000004-0x00000005的一个 short然后组合得到所要的数据,如果变量在0x00000003地址上的话则要访问三次内存,第一次为char,第二次为short,第三次为 char,然后组合得到整型数据。而如果变量在自然对齐位置上,则只要一次就可以取出数据。一些系统对对齐要求非常严格,比如sparc系统,如果取未对齐的数据会发生错误,举个例:
       

    char ch[8];
    char *= &ch[1];
    int i = *(int *)p;

    运行时会报segment error,而在x86上就不会出现错误,只是效率下降。

    三、正确处理字节对齐

    对于标准数据类型,它的地址只要是它的长度的整数倍就行了,而非标准数据类型按下面的原则对齐:

    • 数组 :按照基本数据类型对齐,第一个对齐了后面的自然也就对齐了。
    • 联合 :按其包含的长度最大的数据类型对齐。
    • 结构体: 结构体中每个数据类型都要对齐。

    比如有如下一个结构体:

    struct stu{
        char sex;
        int length;
        char name[10];
    };
    struct stu my_stu;

    由于在x86下,GCC默认按4字节对齐,它会在sex后面跟name后面分别填充三个和两个字节使length和整个结构体对齐。于是我们sizeof(my_stu)会得到长度为20,而不是15.

    四、__attribute__选项

    我们可以按照自己设定的对齐大小来编译程序,GNU使用__attribute__选项来设置,比如我们想让刚才的结构按一字节对齐,我们可以这样定义结构体

    struct stu{
         char sex;
        int length;
         char name[10];
    }__attribute__ ((aligned (1)));

    struct stu my_stu;

    则sizeof(my_stu)可以得到大小为15。

    上面的定义等同于

    struct stu{
         char sex;
        int length;
         char name[10];
    }__attribute__ ((packed)); 
    struct stu my_stu;

    __attribute__((packed))得变量或者结构体成员使用最小的对齐方式,即对变量是一字节对齐,对域(field)是位对齐.

    五、什么时候需要设置对齐

        在设计不同CPU下的通信协议时,或者编写硬件驱动程序时寄存器的结构这两个地方都需要按一字节对齐。即使看起来本来就自然对齐的也要使其对齐,以免不同的编译器生成的代码不一样.

    现在回到我们关心的struct上来。ANSI C规定一种结构类型的大小是它所有字段的大小以及字段之间或字段尾部的填充区大小之和。嗯?填充区?对,这就是为了使结构体字段满足内存对齐要求而额外分配给结构体的空间。那么结构体本身有什么对齐要求吗?有的,ANSI C标准规定结构体类型的对齐要求不能比它所有字段中要求最严格的那个宽松,可以更严格(但此非强制要求,VC7.1就仅仅是让它们一样严格)。我们来看一个例子(以下所有试验的环境是Intel Celeron 2.4G + WIN2000 PRO + vc7.1,内存对齐编译选项是"默认",即不指定/Zp与/pack选项):

    typedef struct ms1
    {
         char a;
         int b;
    } MS1;

        假设MS1按如下方式内存布局(本文所有示意图中的内存地址从左至右递增):
           _____________________________
           |       |                   |
           |   a   |        b          |
           |       |                   |
           +---------------------------+
    Bytes:    1             4

        因为MS1中有最强对齐要求的是b字段(int),所以根据编译器的对齐规则以及ANSI C标准,MS1对象的首地址一定是4(int类型的对齐模数)的倍数。那么上述内存布局中的b字段能满足int类型的对齐要求吗?嗯,当然不能。如果你是编译器,你会如何巧妙安排来满足CPU的癖好呢?呵呵,经过1毫秒的艰苦思考,你一定得出了如下的方案:

           _______________________________________
           |       |\\\\\|                 |
           |   a   |\padding\|       b         |
           |       |\\\\\|                 |
           +-------------------------------------+
    Bytes:    1         3             4

        这个方案在a与b之间多分配了3个填充(padding)字节,这样当整个struct对象首地址满足4字节的对齐要求时,b字段也一定能满足int型的4字节对齐规定。那么sizeof(MS1)显然就应该是8,而b字段相对于结构体首地址的偏移就是4。非常好理解,对吗?现在我们把MS1中的字段交换一下顺序:

    typedef struct ms2
    {
         int a;
         char b;
    } MS2;

        或许你认为MS2比MS1的情况要简单,它的布局应该就是

           _______________________
           |             |       |
           |     a       |   b   |
           |             |       |
           +---------------------+
    Bytes:      4           1

        因为MS2对象同样要满足4字节对齐规定,而此时a的地址与结构体的首地址相等,所以它一定也是4字节对齐。嗯,分析得有道理,可是却不全面。让我们来考虑一下定义一个MS2类型的数组会出现什么问题。C标准保证,任何类型(包括自定义结构类型)的数组所占空间的大小一定等于一个单独的该类型数据的大小乘以数组元素的个数。换句话说,数组各元素之间不会有空隙。按照上面的方案,一个MS2数组array的布局就是:

    |<-    array[1]     ->|<-    array[2]     ->|<- array[3] .....

    __________________________________________________________
    |             |       |              |      |
    |     a       |   b   |      a       |   b |.............
    |             |       |              |      |
    +----------------------------------------------------------
    Bytes: 4         1          4           1

        当数组首地址是4字节对齐时,array[1].a也是4字节对齐,可是array[2].a呢?array[3].a ....呢?可见这种方案在定义结构体数组时无法让数组中所有元素的字段都满足对齐规定,必须修改成如下形式:

           ___________________________________
           |             |       |\\\\\|
           |     a       |   b   |\padding\|
           |             |       |\\\\\|
           +---------------------------------+
    Bytes:      4           1         3

        现在无论是定义一个单独的MS2变量还是MS2数组,均能保证所有元素的所有字段都满足对齐规定。那么sizeof(MS2)仍然是8,而a的偏移为0,b的偏移是4。

        好的,现在你已经掌握了结构体内存布局的基本准则,尝试分析一个稍微复杂点的类型吧。

    typedef struct ms3
    {
         char a;
         short b;
         double c;
    } MS3;

        我想你一定能得出如下正确的布局图:
             
            padding 
               |
          _____v_________________________________
          |   ||     |\\\\|               |
          | a || b |padding|       c       |
          |   ||     |\\\\|               |
          +-------------------------------------+
    Bytes: 1 1   2       4            8
               
        sizeof(short)等于2,b字段应从偶数地址开始,所以a的后面填充一个字节,而sizeof(double)等于8,c
    字段要从8倍数地址开始,前面的a、b字段加上填充字节已经有4 bytes,所以b后面再填充4个字节就可以保证c字段的对齐要求了。sizeof(MS3)等于16,b的偏移是2,c的偏移是8。接着看看结构体中字段还是结构类型的情况:

    typedef struct ms4
    {
         char a;
         MS3 b;
    } MS4;

        MS3中内存要求最严格的字段是c,那么MS3类型数据的对齐模数就与double的一致(为8),a字段后面应填充7个字节,因此MS4的布局应该是:
           _______________________________________
           |       |\\\\\|                 |
           |   a   |\padding\|       b         |
           |       |\\\\\|                 |
           +-------------------------------------+
    Bytes:    1         7             16

        显然,sizeof(MS4)等于24,b的偏移等于8。

        在实际开发中,我们可以通过指定/Zp编译选项来更改编译器的对齐规则。比如指定/Zpn(VC7.1中n可以是1、2、4、8、16)就是告诉编译器最大对齐模数是n。在这种情况下,所有小于等于n字节的基本数据类型的对齐规则与默认的一样,但是大于n个字节的数据类型的对齐模数被限制为n。事实上,VC7.1的默认对齐选项就相当于/Zp8。仔细看看MSDN对这个选项的描述,会发现它郑重告诫了程序员不要在MIPS和Alpha平台上用/Zp1和/Zp2选项,也不要在16位平台上指定/Zp4和/Zp8(想想为什么?)。改变编译器的对齐选项,对照程序运行结果重新分析上面4种结构体的内存布局将是一个很好的复习。

        到了这里,我们可以回答本文提出的最后一个问题了。结构体的内存布局依赖于CPU、操作系统、编译器及编译时的对齐选项,而你的程序可能需要运行在多种平台上,你的源代码可能要被不同的人用不同的编译器编译(试想你为别人提供一个开放源码的库),那么除非绝对必需,否则你的程序永远也不要依赖这些诡异的内存布局。顺便说一下,如果一个程序中的两个模块是用不同的对齐选项分别编译的,那么它很可能会产生一些非常微妙的错误。如果你的程序确实有很难理解的行为,不防仔细检查一下各个模块的编译选项。


  • 相关阅读:
    matplotlib实例笔记
    matplotlib笔记3
    pandas之时间重采样笔记
    pandas之时间序列笔记
    pandas之数据IO笔记
    pandas之聚合运算
    pandas之分组计算笔记
    算术运算符合
    数据类型 概况 (字符串,列表)
    for 循环
  • 原文地址:https://www.cnblogs.com/noble/p/4144130.html
Copyright © 2011-2022 走看看