目录
今天和伙计萌一起写JSP的时候,应用到了修改编码,所以自己也总结一下这个原理,参考了很多写的不错的文章。
可能很多编程的伙伴萌学到了,tomcat 和 JSP(java server page)
这里先引出几个常见的英文:
- charset英文释义就是字符集 ,是服务器把生成的html发布给客户端时的编码,可以任意指定
- pageEncoding:JSP文件本身的编码方式
- GBK(GBK即“国标”、“扩展”汉语拼音的首字母): 全称《汉字内码扩展规范》
- UTF-8:针对Unicode的一种可变长度字符编码。
一、字节概念
字节(Byte )是计算机用于计量存储容量的一种计量单位,作为一个单位来处理的一个二进制数字串,是构成信息的一个小单位。最常用的字节是八位的字节,即八位的二进制数。
比如:11110000(2),这个八位的二进制数在计算机中代表占用了一个字节。
二、字符概念
字符和字节要区别开,字符指类字形单位或符号: 字母、数字、运算符号、标点符号和其他符号,以及一些功能性符号。
比如: 1 、+ & ?%、我 等都是字符
不同的编码导致一个字符所占的内存不同
GBK中一个中文占两个字节(即16位二进制) 而 UTF-8中则占三个字节(24位二进制)
三、编码规范(编码方案)
随计算机的发展,不同地区语言文字的需要,工程师们希望在计算机中显示字符,但计算机只能识别0和1组成的的二进制数,于是编码规范被扩展出来。
例如: ASCII编码规范,计算机通过规范可以将我们常用的字符和二进制之间相互转换。
GBK编码规范,计算机可以通过这套规范,在中文和二进制之间相互转换。
我们识别字符,计算机识别二进制。
1.字库表
像我们的大字典一样,每一页的第几行作为一个地址,对应一个值。
一套编码规范不一定能包含世界上所有字符,每套编码规范都有自己的使用场景。而字库表就存储了编码规范中能显示的所有字符,计算机就是根据二进制数从字库表中找到字符然后显示给用户滴,相当于一个存储字符的数据库。
比如: 所有汉字都保存在GBK 编码规范的字库表中。所以可以显示汉字,但法语,俄语并不在其字库表中,所以GBK不能显示法语,俄语等不包含在其中的字符。
2.编码字符集(常说的字符集)
在一个字库表中,每一个字符都有一个对应的二进制地址,而编码字符集就是这些地址的集合。
例:在ASCII码的编码字符集中,字母A的序号(地址)是65,65的二进制就是01000001。我们可以说编码字符集就是用来存储这些二进制数的。而这个二进制数就是编码字符集中的一个元素,同时它也是字库表中字母A的地址。我们根据这个地址就可以显示出字母A。
3.字符编码(编码方式)
有了字库表和编码字符集的概念,我们就可以直接使用二进制地址来得到字符了。
但直接使用字符对应的二进制地址来显示文字是十分浪费内存的,Unicode 编码规范中包括了几百万个字符,想要包括几百万个不同的字符,起码需要3个字节的容量,为了方便将来扩展,Unicode还保留了更多未使用的空间,最多可以存储4个字节的容量。
如果为了区分每个字符,00000000 00000000 00000000 00001111这种其实只占了1个字节的字符,我们要为他分配4个字节的空间,这就导致一个1G大小的文件,需要4G才能保存,很明显浪费了不少空间。
于是程序员制定了一套算法来节省空间,而每种不同的算法都被称作一种编码方式(下文中为了便于理解都将使用编码方式来称呼字符编码)。一套编码规范可以有多种不同的编码方式,不同的编码方式有不同的适应场景。
例如:UTF-8就是一种编码方式,Unicode是一种编码规范。此外,Unicode还有UTF-16,UTF-32这两种编码方式。不同的编码方式规则不同,节约的空间也不同。
总结:一个较短的二进制数,通过一种编码方式,转换成编码字符集中正常的地址,然后在字库表中找到一个对应的字符,最终显示给用户。
四、常见编码规范(编码方案)介绍
1.ASCII码
(American Standard Code for Information Interchange): 美国信息交换标准代码。
共包含128个字符即二进制的:00000000~011111111.可以表示阿拉伯数字和大小写英文字母,以及一些简单的符号。
2.GBK
GBK全称《汉字内码扩展规范》,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字。GBK字符集中所有字符占2个字节,不论中文英文都是2个字节。 没有特殊的编码方式,习惯称呼GBK 编码。
3.Unicode
从以上几种编码规范可以看出,各种编码规范互不兼容,且只能表示自己需要的字符,于是,国际标准化组织(ISO)决定制定一套全世界通用的编码规范,这就是Unicode。 Unicode包含了全世界所有的字符。Unicode最多可以保存4个字节容量的字符。但是要区分每个字符,每个字符的地址需要4个字节。这是十分浪费存储空间的,于是,程序员就设计了几种字符编码方式,比如:UTF-8,UTF-16,UTF-32。 最广为程序员使用的就是UTF-8,UTF-8是一种变长字符编码,注意:UTF-8不是编码规范,而是编码方式。
UTF-8编码规则如下:
编码规则表
Unicode 十六进制码点范围 | UTF-8 二进制 |
---|---|
0000 0000 ~ 0000 007F | 0xxxxxxx |
0000 0080 ~ 0000 07FF | 110xxxxx 10xxxxxx |
0000 0800 ~ 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
0001 0000 ~ 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
如上表所示,对于只需要1个字节的字符,UTF-8采用ASCII码的编码方式,最高位补0来表示。
例如:01000001我们就是用01000001来表示,对于一个字节的字符,其实就是直接使用地址表示。
而对于n个字节的字符(n>1),即大于一个字节的字符,采用第一个字节前n位补1。第n+1位填0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
例如:汉字严的Unicode码是4E25转换成二进制就是01001110 00100101共15位,根据上表可知使用UTF-8字符编码后占3个字节,因此前3位是1,第4位(n+1位)是0,后面两个字节中每个字节的前两位都是10,即1110 xxxx 10 xxxxxx 10xxxxxx。填充进去后就变成了1110 0100 10 111000 10 100101共计24位占3个字节。
由此可见,英文在UTF-8字符编码后只占1个字节,中文占了3个字节。 虽然UTF-8编码没有GBK编码占的空间小,但他胜在面向全世界,至于使用哪一种编码还是取决于具体的使用环境。
关于英文占一个字节,中文占三个字节的验证:
import java.io.UnsupportedEncodingException;
public class Main {
public static void main(String[] args) throws UnsupportedEncodingException {
//英文
String usa = "x";
encodeAndDecode(usa);
//中文
String chinese="何";
encodeAndDecode(chinese);
}
public static void encodeAndDecode(String init) throws UnsupportedEncodingException {
byte[] bts = init.getBytes("UTF-8");
System.out.print("字符'"+init+"'进行编码得到的三个字节值:");
for (byte bt : bts)
System.out.print(bt+" ");
System.out.println("
解码检验******************");
//解码
String init_utf8 = new String(bts,"UTF-8");
System.out.println(init_utf8+"
");
}
}
运行结果如下
字符'x'进行编码得到的三个字节值:120 解码检验 x 字符'何'进行编码得到的三个字节值:-28 -67 -107 解码检验 何
参考: