c/c++结构体对齐小结
(2010-08-31 18:45:58)
|
标签： |
分类： 学习转载 |
一
许多实际的计算机系统对基本类型数据在内存中存放的位置有限制，它们会要求这些数据的首地址的值是某个数k(通常它为4或8)的倍数，这就是所谓的内存对齐，而这个k则被称为该数据类型的对齐模数(alignment modulus)。当一种类型S的对齐模数与另一种类型T的对齐模数的比值是大于1的整数，我们就称类型S的对齐要求比T强(严格)，而称T比S弱(宽松)。这种强制的要求一来简化了处理器与内存之间传输系统的设计，二来可以提升读取数据的速度。比如这么一种处理器，它每次读写内存的时候都从某个8倍数的地址开始，一次读出或写入8个字节的数据，假如软件能保证double类型的数据都从8倍数地址开始，那么读或写一个double类型数据就只需要一次内存操作。否则，我们就可能需要两次内存操作才能完成这个动作，因为数据或许恰好横跨在两个符合对齐要求的8字节内存块上。某些处理器在数据不满足对齐要求的情况下可能会出错，但是Intel的IA32架构的处理器则不管数据是否对齐都能正确工作。不过Intel奉劝大家，如果想提升性能，那么所有的程序数据都应该尽可能地对齐。
ANSI C标准中并没有规定，相邻声明的变量在内存中一定要相邻。为了程序的高效性，内存对齐问题由编译器自行灵活处理，这样导致相邻的变量之间可能会有一些填充字节。对于基本数据类型(int char)，他们占用的内存空间在一个确定硬件系统下有个确定的值，所以，接下来我们只是考虑结构体成员内存分配情况。
Win32平台下的微软C编译器(cl.exe for 80×86)的对齐策略：
1) 结构体变量的首地址能够被其最宽基本类型成员的大小所整除；
备注：编译器在给结构体开辟空间时，首先找到结构体中最宽的基本数据类型，然后寻找内存地址能被该基本数据类型所整除的位置，作为结构体的首地址。将这个最宽的基本数据类型的大小作为上面介绍的对齐模数。
2) 结构体每个成员相对于结构体首地址的偏移量（offset）都是成员大小的整数倍，如有需要编译器会在成员之间加上填充字节（internal adding）；
备注:为结构体的一个成员开辟空间之前，编译器首先检查预开辟空间的首地址相对于结构体首地址的偏移是否是本成员的整数倍，若是，则存放本成员，反之，则在本成员和上一个成员之间填充一定的字节，以达到整数倍的要求，也就是将预开辟空间的首地址后移几个字节。
3) 结构体的总大小为结构体最宽基本类型成员大小的整数倍，如有需要，编译器会在最末一个成员之后加上填充字节（trailing padding）。
备注：结构体总大小是包括填充字节，最后一个成员满足上面两条以外，还必须满足第三条，否则就必须在最后填充几个字节以达到本条要求。
ANSI C规定一种结构类型的大小是它所有字段的大小以及字段之间或字段尾部的填充区大小之和。
嗯？填充区？对，这就是为了使结构体字段满足内存对齐要求而额外分配给结构体的空间。那么结构体本身有什么对齐要求吗？有的，ANSI C标准规定结构体类型的对齐要求不能比它所有字段中要求最严格的那个宽松，可以更严格(但此非强制要求，VC7.1就仅仅是让它们一样严格)。
我们来看一个例子(以下所有试验的环境是Intel Celeron 2.4G + WIN2000 PRO + vc7.1，内存对齐编译选项是"默认"，即不指定/Zp与/pack选项):
typedef struct ms1
{
char a;
int b;
} MS1;
假设MS1按如下方式内存布局(本文所有示意图中的内存地址从左至右递增):
_____________________________
| | |
| a | b |
| | |
+---------------------------+
Bytes: 1 4
因为MS1中有最强对齐要求的是b字段(int)，所以根据编译器的对齐规则以及ANSI C标准，MS1对象的首地址一定是4(int类型的对齐模数)的倍数。那么上述内存布局中的b字段能满足int类型的对齐要求吗？嗯，当然不能。如果你是编译器，你会如何巧妙安排来满足CPU的癖好呢？呵呵，经过1毫秒的艰苦思考，你一定得出了如下的方案：
_______________________________________
| |\\\\\\\\\\\| |
| a |\\padding\\| b |
| |\\\\\\\\\\\| |
+-------------------------------------+
Bytes: 1 3 4
这个方案在a与b之间多分配了3个填充(padding)字节，这样当整个struct对象首地址满足4字节的对齐要求时，b字段也一定能满足int型的 4字节对齐规定。那么sizeof(MS1)显然就应该是8，而b字段相对于结构体首地址的偏移就是4。非常好理解，对吗？现在我们把MS1中的字段交换一下顺序:
typedef struct ms2
{
int a;
char b;
} MS2;
或许你认为MS2比MS1的情况要简单，它的布局应该就是
_______________________
| | |
| a | b |
| | |
+---------------------+
Bytes: 4 1
因为MS2对象同样要满足4字节对齐规定，而此时a的地址与结构体的首地址相等，所以它一定也是4字节对齐。嗯，分析得有道理，可是却不全面。让我们来考虑一下定义一个MS2类型的数组会出现什么问题。C标准保证，任何类型(包括自定义结构类型)的数组所占空间的大小一定等于一个单独的该类型数据的大小乘以数组元素的个数。换句话说，数组各元素之间不会有空隙。按照上面的方案，一个MS2数组array的布局就是:
|<- array[1] ->|<- array[2] ->|<- array[3] .....
__________________________________________________________
| | | | |
| a | b | a | b |.............
| | | | |
+----------------------------------------------------------
Bytes: 4 1 4 1
当数组首地址是4字节对齐时，array[1].a也是4字节对齐，可是array[2].a呢？array[3].a ....呢？可见这种方案在定义结构体数组时无法让数组中所有元素的字段都满足对齐规定，必须修改成如下形式:
___________________________________
| | |\\\\\\\\\\\|
| a | b |\\padding\\|
| | |\\\\\\\\\\\|
+---------------------------------+
Bytes: 4 1 3
现在无论是定义一个单独的MS2变量还是MS2数组，均能保证所有元素的所有字段都满足对齐规定。那么sizeof(MS2)仍然是8，而a的偏移为0，b的偏移是4。
好的，现在你已经掌握了结构体内存布局的基本准则，尝试分析一个稍微复杂点的类型吧。
软件开发网 www.mscto.com
typedef struct ms3
{
char a;
short b;
double c;
} MS3;
我想你一定能得出如下正确的布局图:
padding
|
_____v_________________________________
| |\| |\\\\\\\\\| |
| a |\| b |\padding\| c |
| |\| |\\\\\\\\\| |
+-------------------------------------+
Bytes: 1 1 2 4 8
sizeof(short)等于2，b字段应从偶数地址开始，所以a的后面填充一个字节，而sizeof(double)等于8，c字段要从8倍数地址开始，前面的a、b字段加上填充字节已经有4 bytes，所以b后面再填充4个字节就可以保证c字段的对齐要求了。sizeof(MS3)等于16，b的偏移是2，c的偏移是8。接着看看结构体中字段还是结构类型的情况:
typedef struct ms4
{
char a;
MS3 b;
} MS4;
MS3中内存要求最严格的字段是c，那么MS4类型数据的对齐模数就与double的一致(为8)，a字段后面应填充7个字节，因此MS4的布局应该是:
_______________________________________
| |\\\\\\\\\\\| |
| a |\\padding\\| b |
| |\\\\\\\\\\\| |
+-------------------------------------+
Bytes: 1 7 16
显然，sizeof(MS4)等于24，b的偏移等于8。
在实际开发中，我们可以通过指定/Zp编译选项来更改编译器的对齐规则。比如指定/Zpn(VC7.1中n可以是1、2、4、8、16)就是告诉编译器最大对齐模数是 n。在这种情况下，所有小于等于n字节的基本数据类型的对齐规则与默认的一样，但是大于n个字节的数据类型的对齐模数被限制为n。事实上，VC7.1的默认对齐选项就相当于/Zp8。仔细看看MSDN对这个选项的描述，会发现它郑重告诫了程序员不要在MIPS和Alpha平台上用/Zp1和/Zp2选项，也不要在16位平台上指定/Zp4和/Zp8(想想为什么？)。改变编译器的对齐选项，对照程序运行结果重新分析上面4种结构体的内存布局将是一个很好的复习。
而在GNU GCC编译器中，遵循的准则有些区别，对齐模数不是像上面所述的那样，根据最宽的基本数据类型来定。在GCC中，对齐模数的准则是：对齐模数最大只能是 4，也就是说，即使结构体中有double类型，对齐模数还是4，所以对齐模数只能是1，2，4。而且在上述的三条中，第2条里，offset必须是成员大小的整数倍，如果这个成员大小小于等于4则按照上述准则进行，但是如果大于4了，则结构体每个成员相对于结构体首地址的偏移量（offset）只能按照是4的整数倍来进行判断是否添加填充。
看如下例子：
struct T
{
char ch;
double d ;
};
那么在GCC下，sizeof(T)应该等于12个字节。
如果结构体中含有位域(bit-field)，那么VC中准则又要有所更改：
1) 如果相邻位域字段的类型相同，且其位宽之和小于类型的sizeof大小，则后面的字段将紧邻前一个字段存储，直到不能容纳为止；
2) 如果相邻位域字段的类型相同，但其位宽之和大于类型的sizeof大小，则后面的字段将从新的存储单元开始，其偏移量为其类型大小的整数倍；
3) 如果相邻的位域字段的类型不同，则各编译器的具体实现有差异，VC6采取不压缩方式（不同位域字段存放在不同的位域类型字节中），Dev-C++和GCC都采取压缩方式；
备注：当两字段类型不一样的时候，对于不压缩方式，例如：
struct N
{
char c:2;
int i:4;
};
依然要满足不含位域结构体内存对齐准则第2条，i成员相对于结构体首地址的偏移应该是4的整数倍，所以c成员后要填充3个字节，然后再开辟4个字节的空间作为int型，其中4位用来存放i，所以上面结构体在VC中所占空间为8个字节；而对于采用压缩方式的编译器来说，遵循不含位域结构体内存对齐准则第2条，不同的是，如果填充的3个字节能容纳后面成员的位，则压缩到填充字节中，不能容纳，则要单独开辟空间，所以上面结构体N在GCC或者Dev- C++中所占空间应该是4个字节。
4) 如果位域字段之间穿插着非位域字段，则不进行压缩；
备注：
结构体 typedef struct
{
char c:2;
double i;
int c2:4;
}N3;
在GCC下占据的空间为16字节，在VC下占据的空间应该是24个字节。
5) 整个结构体的总大小为最宽基本类型成员大小的整数倍。
ps:
对齐模数的选择只能是根据基本数据类型，所以对于结构体中嵌套结构体，只能考虑其拆分的基本数据类型。对于结构体中嵌套结构体大小确是要将整个结构体看成是一个成员，成员大小按照该结构体根据对齐准则判断所得的大小
类对象在内存中存放的方式和结构体类似，这里就不再说明。需要指出的是，类对象的大小只是包括类中非静态成员变量所占的空间，如果有虚函数，那么再另外增加一个指针所占的空间即可。
1． 内存对齐与编译器设置有关，首先要搞清编译器这个默认值是多少
2． 如果不想编译器默认的话，可以通过#pragma pack(n)来指定按照n对齐
3． 每个结构体变量对齐，如果对齐参数n(编译器默认或者通过pragma指定)大于该变量所占字节数(m)，那么就按照m对齐，内存偏移后的地址是m的倍数，否则是按照n对齐，内存偏移后的地址是n的倍数。也就是最小化长度规则
4． 结构体总大小: 对齐后的长度必须是成员中最大的对齐参数的整数倍。最大对齐参数是从第三步得到的。
5． 补充：如果结构体A中还要结构体B，那么B的对齐方式是选它里面最长的成员的对齐方式
二
二
因为我看C++对象模型的时候，遇到了几个内存布局都是有关于对齐的一些细节，故此对结构体对齐再做一份小结，有人说：结构体对齐这个东西是依赖于编译器的，因此不用去研究，真的嘛？
也许是，也许不是，要看你是做那个行业的了，如果你是做系统地层，网络通讯，嵌入式系统的，一个字节的节省，也许对你是很大的期望呢。虽然具体的对齐方式是因编译器而异，但是对齐的基本原理是不变的，那个原理也许能指导我们编写程序的时候按照某个原则去进行。
不过，既然你用到了C或者C++，就多数是和系统底层有缘之人了，你说是嘛？呵呵。
现在先说在windows x86 32位机子下的MS vs2005编译器（就是：cl.exe for x86）下的对齐规则：
比如以下的结构体定义：
struct A
{
int i;
double d;
char c;
};
问sizeof（struct A）在vs2005的大小？
现在说一下cl.exe（就是微软vs2005的编译器进程）在默认情况下是怎么做的：
1、对齐量的确定：找到A中最大的基本类型成员的大小，在本例中是8（double的大小）.
2、当定义一个结构体变量struct A aA; 的时候，aA的起始地址要被由1确定的对齐量整除，在这个例子里，aA的起始地址一定要能被8整除）
2、然后开始分配int i，4字节的空间；再分配double d；注意double 是8字节，所以要分配在被8整除的地方，因此int i后面空了4字节填充；
3、然后，分配char c；1字节，这个时候struct A的大小是4（这是int i；的） + 4 （这是填充的） + 8（这是double d；的） + 1 （这是char c；的）= 17；
4、最后，要求结构体总的大小要能被由1确定的对齐量整除，在这里是说struct A的大小要能被8整除，所以还要加上7字节的填充字符，一共是24字节。
从这里可以看出，vs2005的编译器的结构体填充有这样的规则（默认情况下，这个默认情况可以通过工程属性上面的选项修改）：
1、对齐量的确定：结构体中最大的数据成员的字节数
2、当定义一个结构体变量的时候，起始地址一定能被确定的对齐量整除；
2、分配每一个成员的时候，该成员相对于起始地址的偏移（offset）要能被该成员的大小整除；
3、结构体总的大小能被确定的对齐量整除；
扩充的字节叫做pad（填充字节）
下面看linux g++ 3.4.3编译器在x86 的32位机子下的默认规则，那相对简单一些：（相当于VS2005中将对齐情况改成4字节对齐）
对齐的方式默认是4字节，所以每个成员都按照4字节方式对齐即可。上面的结构体的大小就是:
4 (int i;的大小） + 8（double 的大小） + 1（char 的大小） + 3 （为了4字节填充而补充的字节） = 16字节；
至于gcc的结构体变量的首地址分配的特征一时也找不到，还望各位多多指教。谢谢。
最后，如果定义一个没有任何成员的结构体，struct A{}; 该大小是多少呢？是1字节。如果定义了两个结构体变量struct A a1, a2; 1字节的填充能够使a1和a2的地址区分开来！
还有其他的编译器和操作系统就不是我所能知的了。
那么，这些规则也许不尽相同，但是给了我们一个编程时候的注意点，就是：
定义结构体的时候，成员最好能从大到小来定义，那样能相对的省空间。（至少不会比别的顺序差，一般情况下哈。）比如以上的结构体,如果能这样定义：
struct A
{
double d;
int i;
char c;
};
那么，无论是windows下的vs2005，还是linux下的gcc，都是16字节。
对齐情况还可以通过各个编译器给出的特性在代码中改，不过我没用过，就没有发言权，各位又需要可以参考别的文章。
以上的过程和推论是我看别的文章和上机试验的结果，如有不对之处，请各位指教，谢谢。
再说一点，对于有嵌套的情况，vs2005下的对齐我也不大确定，不过我的分析如下：
struct A
{
char c;
double d;
int i;
};
struct B
{
struct A a;
char c;
};
这种情况下，分析B的大小；
1、对齐量的确定：包括A中的各成员比较的，递归下去，比较各个基本类型成员的大小，去最大值，为8（double的大小）；
2、起始地址和上面的一样，要求B的变量的其实地址能被8整除；
3、关于B中struct A a；的偏移和大小和将a单独作为结构体变量的时候一样（那样方便赋值运算）
剩下的和上面的规则相同；
所以：B的大小就是24（struct A）+ 1（char） +７（pad) = 32字节；
不知正确与否？还请诸位评判。
朗讯的笔试题是这样的：
Typedef union student
{
Char name[10]；
Long sno;
Char sex;
Float score [4];
} STU;
Main ()
{
STU a[5]；
Printf(“%d\n”,sizeof(a)；
}
答案是80 ，因为union是可变的以其成员中最大的成员作为 该union的大小！
但是换成是 struct又是多少呢？
Typedef struct student
{
Char name[10]；
Long sno;
Char sex;
Float score [4];
} STU;
Main ()
{
STU a[5]；
Printf(“%d\n”,sizeof(a)；
}
答案是 180
struct naturalalign
{
char a;
short b;
char c;
};
结果等于6；
如果改为：
struct naturalalign
{
char a;
int b;
char c;
};
其结果显然为12。
Typedef struct student
{
Char name[10]；
Char sex;
Long sno;
Float score [4];
} STU;
Main ()
{
STU a[5]；
Printf(“%d\n”,sizeof(a)；
}
答案是:160.
指定对齐例如：
#pragma pack (n)
struct naturalalign
{
char a;
int b;
char c;
};
#pragma pack ()
当n为4、8、16时，其对齐方式均一样，sizeof(naturalalign)的结果都等于12。而当n为2时，其发挥了作用，使得sizeof(naturalalign)的结果为6。
在VC++ 6.0编译器中，我们可以指定其对齐方式（见图1），其操作方式为依次选择projetct > setting > C/C++菜单，在struct member alignment中指定你要的对界方式。