第二章 字符和字符串处理
1、 几种字符集
尽量使用Unicode来代替ANSI字符串
关于双字节字符集 (double-byte character set, DBCS)， 双字节字符集中，一个字符串中每个字符由一个或两个字节组成，处理起来不方便。
关于UTF-8，UTF-8的编码规则是将一些字符编码为1字节，一些为2字节，一些为3字节，一些为4字节；非常流行，但对值为0x0800及以上的大量字符进行编码的时候不如UTF-16方便。
关于UTF-16，在windows VISTA中，每个字符都使用UTF-16来编码， UTF-16为每个字符编码为2个字节，一般情况下unicode指的就是UTF-16编码，.NetFramwork始终使用UTF-16来编码。
关于UTF-32， 为每个字符都使用4字节来编码，比较浪费空间。
结论：以后的程序中都尽量使用UNICODE格式，兼容性和国际化比较方便。
2、 ANSI和UNICODE
ANSI字符即以8位char数据类型表示的字符；
MS C/C++编译器定义了一个内建的数据类型wchar_t，即宽字符，它表示一个UTF-16字符。在visual studio 2005中，项目属性--配置属性—C/C++--语言：【将wchar_t视为内置类型】可以选择。
在MS编译器对wchar_t的支持之前，有一个C头文件定义了一个wchar_t数据类型，如下：
Typedef unsigned short wchar_t; //无符号短整数
定义unicode变量：wchar_t ch = L’A’; //定义了一个宽字符’A’
关于L, _T, __T, _TEXT, __TEXT, TEXT的区别：
L : 把字符串定义为宽字符串
_T或__T: 如果定义了_UNICODE 则为宽字符，否则不是,tchar.h
_TEXT: 如果定义了_UNICODE则为宽字符，否则不是，tchar.h
__TEXT或TEXT：如果定义了UNICODE宏则为宽字符，否则不是,winnt.h
_UNICODE宏用于C运行期头文件,而UNICODE宏则用于Windows头文件，_UNICODE和UNICODE要么都不定义，要么全都定义。
尽量不要使用L，而是要使用其他的条件宏。
1 PCHAR == CHAR* 2 3 PSTR == CHAR* 4 5 PCSTR == CONST CHAR* 6 7 PWCHAR == WCHAR* 8 9 PWSTR == WCHAR* 10 11 PCWSTR == CONST WCHAR*
3、 关于windows函数中的unicode和ansi函数
一个比较常用的函数MessageBox, CWnd类的成员函数，其实是一个宏，定义如下：
1 #ifdef UNICODE 2 3 #define MessageBox MessageBoxW 4 5 #else 6 7 #define MessageBox MessageBoxA 8 9 #endif
在上面两个版本的函数中(W 和 A)，如果是A版本，那么函数内部会把ANSI字符(串)参数转换为unicode版本再在内部调用W版本，W版本函数返回时再把相应的输出转换为ANSI格式。 这个过程是需要额外的时间和空间的，因此鼓励使用UNICODE版本。
4、 C运行库中的unicode函数和ansi函数
与windows函数不同的是：C运行库函数的ansi版本不会和windows函数那样在内部转换并调用unicode版本，而是“自力更生”，自己完成函数的执行过程。
在C运行库中，strlen函数返回一个ansi字符串的长度(不包括结尾的’\0’)，与之对应的unicode版本的是wcslen，返回unicode字符串的长度(同样不包括’\0’)。这两个函数的原型都在string.h中，为了自动适应哪种类型的字符串还必须包含tchar.h，该头文件定义了如下宏：
1 #ifdef _UNICODE 2 3 #define _tcslen wcslen 4 5 #else 6 7 #define _tcslen strlen 8 9 #endif
C运行库的字符串函数：strcpy, wcscpy建议放弃，因为没有指定输入缓冲区的大小。
5、 C运行库的安全字符串函数
这些函数包含在strsafe.h中，这个头文件包含了string.h，现在每一个不安全的函数都对应一个安全版本，如_tcscpy_s, _tcscat_s，这些函数原型中添加了一个缓冲区大小的参数，字符个数，可以用_countof来获取缓冲区大小(实践证明包含’\0’)，_countof在stdlib.h中定义。
安全函数会检查指针不为NULL， 整数在有效范围内，枚举值是有效的，缓冲区足以容纳结果数据等。
C运行时允许我们提供自己的函数来替代C运行时引起的 Debug Assertion Failed(断言失败)。 可见cnblogs中2013.01.21的博客。
除了上面说的新的_s安全字符串函数，C运行库还增加了一些函数，用于在执行字符串处理时提供更多的控制。例如可以控制填充字符、指定如何截断。这些函数有ANSI版本和UNICODE版本。
1 HRESULT StringCchCat(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc); 2 3 HRESULT StringCchCatEx(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc, 4 5 PTSTR *ppszDestEnd, size_t *pcchRemaning, DWORD dwFlags); 6 7 8 9 HRESULT StringCchCopy(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc); 10 11 HRESULT StringCchCopyEx(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc, 12 13 PTSTR *ppszDestEnd, size_t *pcchRemaining, DWORD dwFlags); 14 15 16 17 HRESULT StringCchPrintf(PTSTR pszDest, size_t cchDest, PCTSTR pszFormat, …); 18 19 HRESULT StringCchPrintfEx(PTSTR pszDest, size_t cchDest, PTSTR *ppszDestEnd, size_t *pchRemaining, PCTSTR pszFormat, …);
函数名中的Cch表示字符串，即Count of characters. 另外还有Cb的版本，即count of bytes,字节数。
关于HRESULT返回值，返回S_OK成功，返回STRSAFE_E_INVALID_PARAMETER说明将NULL值传给了一个参数， 返回STRSAFE_E_INSUFFICIENT_BUFFER说明目标缓冲区太小，无法容纳整个源字符串。
扩展版本的参数
Size_t *pcchRemaining: 指向一个变量的指针，返回往缓冲区写完后缓冲区剩余的字符数，包括’\0’。如果pcchRemaing为NULL则不返回计数。
LPTSTR *ppszDestEnd: 如果ppszdDestEnd不为NULL则它将指向终止字符’\0’。
DWROD deFlags:以下一个或多个值
STRSAFE_FILL_BEHIND_NULL:如果函数成功，dwFlags用低字节来填充目标缓冲区的剩余部分(即’\0’之后的部分)， 如果用STRSAFE_FILL_BYTE来代替它，那么将用指定的字符来填充目标缓冲区剩余的部分。
STRSAFE_IGNORE_NULLS：把NULL字符串指针视为TEXT(“”);
STRSAFE_FILL_ON_FAILURE：如果函数失败，就用dwFlags的低字节来填充整个目标缓冲区，但目标缓冲区的最后一个字符会被设为’\0’, 如果缓冲区太小从而失败原因是STRSAFE_E_INSUFFICIENT_BUFFER，那么在返回的字符串中，所有的字符都会被替换成填充字符。
STRSAFE_NULL_ON_FAILURE:如果函数失败，就将目标缓冲区的第一个字符设为’\0’，从而是缓冲区字符串成为一个空字符串TEXT(“”),如果失败的原因是STRSAFE_E_INSUFFICIENT_BUFFER，则截断后的字符都会被覆盖。
STRSAFE_NO_TRUNCATION:同STRFAFE_NULL_ON_FAILURE ?
从这几个flags的定义可以看出：其低字节为0x00，即终止字符’\0’。
6、 windows字符串函数
比如lstcat和lstrcpy已经不赞成使用，因为他们无法检测缓冲区益处问题。
与此同时，在shlwapi.h中定义了大量好用的字符串函数，同时还需要shlwapi.lib文件；比如StrForamtKBSize, StrFormatByteSize等。
其实这两个函数都是宏，都有两个W和A版本的函数。
StrForamtKBSize函数的W版本原型如下：
LWSTDAPI_(LPWSTR) StrFormatKBSizeW(LONGLONG qdw, __out_ecount(cchBuf) LPWSTR pszBuf, UINT cchBuf);
1 //eg.
2
3 LPWSTR pszBuffer = new WCHAR[100];
4
5 memset(pszBuffer, 0, sizeof(WCHAR) * 100);
6
7 LPWSTR pszRet = StrFormatKBSize(12345, pszBuffer, 100);
结果: *pszRet == *pszBuffer == L”13 KB”; psRet指向pszBuffer指向的内存。
另有CompareString(Ex)和CompareStringOrdinal
int CompareString( //此函数是一个宏
LCID locale, //区域设置ID，标识一种语言， 可用LCID GetThreadLocale()获得
DWORD dwCmdFlags, //比较的方式
PCTSTR pString1, //字符串1
int cch1, //字符串1字符数
PCTSTR pString2, //字符串2
int cch2 //字符串2字符数
);
dwCmdFlags:
NORM_IGNORECASE
LINGUISTIC_IGNORECASE : 忽略大小写
NORM_IGNOREKANATYPE:不区分平假名和片假名字符
NORM_IGNORENONSPACE
LINGUISTIC_IGNOREDIACRITIC:忽略non-spacing字符
NORM_IGNORESYMBOLS:忽略符号
NORM_IGNOREWIDTH:不区分同一个字符的单字节和双字节形式
SORT_STRINGSORT:将标点符号当作符号来处理
1 int CompareStringOrdinal( //只有UNICODE版本
2
3 PCWSTR pString1, //字符串1
4 int cchCount1,
5 PCWSTR pString2,
6 int cchCount2,
7 BOOL bIgnoreCase
8
9 );
CompareStringOrdinal用于比较程序内部所用的字符串(如路径名、注册表项/值、XML元素/属性等)，这个函数不需要LCID，速度快。
上面两个函数的返回值需要注意：返回0说明失败，返回1说明前者小于后者，返回2说明相等，返回3说明前者大于后者。可以把返回值减去2得到结果来与strcmp_s或strcmp的结果保持一致。
7、 推荐的字符串处理方式
使用C运行库的安全版本函数来处理字符串，只要定义了_STDC_WANT_SECURE_LIB符号，这些_s方法都可以用，CrtDefs.h默认定义了此符号，不要取消对此符号的定义。
Unicode和Ansi字符串转换
1 int MultiByteToWideChar( //返回
2
3 UINT uCodePage, //代码页，一般可谓CP_ACP，另有CP_UTF8等
4
5 DWORD dwFlags, //标记，额外的转换控制
6
7 PCSTR pMultiByteStr, //源多字节字符串
8
9 int cbMultiByte, //源多字节缓冲区字节数
10
11 PWSTR pWideCharStr, //目的宽字符缓冲区
12
13 int cchWiderChar //目的宽字符缓冲区字符数
14
15 );
一定要注意的是：多字节缓冲区一般用字节表示大小，宽字符缓冲区一般用字符数表示大小。
当为cbMultiByte传入-1时，函数可以自动判断源多字节字符串的长度，当为cchWideChar传入0时，函数不进行转换，而是返回需要的宽字符个数，包括’\0’。
1 LPCSTR pszSrc = "hello world";
2
3 int nRet = MultiByteToWideChar(CP_ACP, 0, pszSrc, -1, NULL, 0);
4
5
6 LPWSTR pszDst = new WCHAR[nRet];
7
8 memset(pszDst, 0, nRet * sizeof(WCHAR));
9
10 nRet = MultiByteToWideChar(CP_ACP, 0, pszSrc, -1, pszDst, nRet);
11
12
13 delete[] pszDst;
14
15 pszDst = NULL;
1 int WideCharToMultiByte(
2
3 UINT uCodePage, //代码页，CP_ACP，另有CP_UTF8
4
5 DWORD dwFlags, //标志，转换控制
6
7 PCWSTR pWideCharStr, //源宽字符串
8
9 int cchWideChar, //源宽字符串字符个数
10
11 PSTR pMultiByteStr, //目的多字节缓冲区
12
13 int cbMultiByte, //目的多字节缓冲区的大小
14
15 PCSTR pDefaultChar, //只有一个字符在uCodePage指定的代码页中没有对应的表示时，函数使用pDefaultChar指向的字符
16
17 PBOOL bfUsedDefaultChar //如果至少有一个宽字符不能转换为对应的多字节形式，函数就会把这个变量置为TRUE，否则为FALSE，可用它来验证转换是否成功。
18
19 );
和MultiByteToWideChar类似，如果给cchWideChar传入-1，则函数会自动判断源多字节字符串的字节数，如果给cbMultiByte传入0，则函数会返回需要的字节数，包括’\0’。
1 LPCWSTR pszWideCharStr = L"hello world";
2
3 int nRetValue = WideCharToMultiByte(CP_ACP, 0, pszWideCharStr, -1, NULL, 0, NULL, NULL); //返回需要的字节数
5
6 PSTR pszMultiCharStr = new CHAR[nRetValue / sizeof(WCHAR)]; //这里需要特别注意！
8
9 PCSTR pDefaultChar = "C";
10
11 BOOL bUsedDefaultChar = FALSE;
13
14 nRetValue = WideCharToMultiByte(
CP_ACP, 0, pszWideCharStr, -1, pszMultiCharStr, nRetValue, pDefaultChar, &bUsedDefaultChar );
15
16
18 delete[] pszMultiCharStr;
19
20 pszMultiCharStr = NULL;
21
22 if(FALSE == bUsedDefaultChar)
24 {
25
26 //转换成功
28 }
29
30 else
32 {
34 //转换不成功
36 }
8、 判断文本是UNICODE还是ANSI
在AdvApi32.dll中导出，在WinBase.h中声明的：
BOOL IsTextUnicode(CONST PVOID pvBuffer, int cb/*字节数*/, PINT pResult);
INT nResult = 0;
BOOL bRet = IsTextUnicode(“hello world”, 12, &nResult);
这个函数测到的结果不一定准确，测试的字节数越多越准确。