理清Java中的编码解码转换

1、字符集及编码方式

概括：字符编码方式及大端小端

详细：彻底理解字符编码

 可以通过Charset.availableCharsets()获取Java支持的字符集，以JDK8为例，得到其支持的字符集：

        SortedMap<String, Charset> charsets = Charset.availableCharsets();
        System.out.println(charsets.size());
        for (String key : charsets.keySet()) {
            System.out.println(key + ":  " + charsets.get(key));
        }


//结果
169
Big5:  Big5
Big5-HKSCS:  Big5-HKSCS
CESU-8:  CESU-8
EUC-JP:  EUC-JP
EUC-KR:  EUC-KR
GB18030:  GB18030
GB2312:  GB2312
GBK:  GBK
IBM-Thai:  IBM-Thai
IBM00858:  IBM00858
IBM01140:  IBM01140
IBM01141:  IBM01141
IBM01142:  IBM01142
IBM01143:  IBM01143
IBM01144:  IBM01144
IBM01145:  IBM01145
IBM01146:  IBM01146
IBM01147:  IBM01147
IBM01148:  IBM01148
IBM01149:  IBM01149
IBM037:  IBM037
IBM1026:  IBM1026
IBM1047:  IBM1047
IBM273:  IBM273
IBM277:  IBM277
IBM278:  IBM278
IBM280:  IBM280
IBM284:  IBM284
IBM285:  IBM285
IBM290:  IBM290
IBM297:  IBM297
IBM420:  IBM420
IBM424:  IBM424
IBM437:  IBM437
IBM500:  IBM500
IBM775:  IBM775
IBM850:  IBM850
IBM852:  IBM852
IBM855:  IBM855
IBM857:  IBM857
IBM860:  IBM860
IBM861:  IBM861
IBM862:  IBM862
IBM863:  IBM863
IBM864:  IBM864
IBM865:  IBM865
IBM866:  IBM866
IBM868:  IBM868
IBM869:  IBM869
IBM870:  IBM870
IBM871:  IBM871
IBM918:  IBM918
ISO-2022-CN:  ISO-2022-CN
ISO-2022-JP:  ISO-2022-JP
ISO-2022-JP-2:  ISO-2022-JP-2
ISO-2022-KR:  ISO-2022-KR
ISO-8859-1:  ISO-8859-1
ISO-8859-13:  ISO-8859-13
ISO-8859-15:  ISO-8859-15
ISO-8859-2:  ISO-8859-2
ISO-8859-3:  ISO-8859-3
ISO-8859-4:  ISO-8859-4
ISO-8859-5:  ISO-8859-5
ISO-8859-6:  ISO-8859-6
ISO-8859-7:  ISO-8859-7
ISO-8859-8:  ISO-8859-8
ISO-8859-9:  ISO-8859-9
JIS_X0201:  JIS_X0201
JIS_X0212-1990:  JIS_X0212-1990
KOI8-R:  KOI8-R
KOI8-U:  KOI8-U
Shift_JIS:  Shift_JIS
TIS-620:  TIS-620
US-ASCII:  US-ASCII
UTF-16:  UTF-16
UTF-16BE:  UTF-16BE
UTF-16LE:  UTF-16LE
UTF-32:  UTF-32
UTF-32BE:  UTF-32BE
UTF-32LE:  UTF-32LE
UTF-8:  UTF-8
windows-1250:  windows-1250
windows-1251:  windows-1251
windows-1252:  windows-1252
windows-1253:  windows-1253
windows-1254:  windows-1254
windows-1255:  windows-1255
windows-1256:  windows-1256
windows-1257:  windows-1257
windows-1258:  windows-1258
windows-31j:  windows-31j
x-Big5-HKSCS-2001:  x-Big5-HKSCS-2001
x-Big5-Solaris:  x-Big5-Solaris
x-euc-jp-linux:  x-euc-jp-linux
x-EUC-TW:  x-EUC-TW
x-eucJP-Open:  x-eucJP-Open
x-IBM1006:  x-IBM1006
x-IBM1025:  x-IBM1025
x-IBM1046:  x-IBM1046
x-IBM1097:  x-IBM1097
x-IBM1098:  x-IBM1098
x-IBM1112:  x-IBM1112
x-IBM1122:  x-IBM1122
x-IBM1123:  x-IBM1123
x-IBM1124:  x-IBM1124
x-IBM1364:  x-IBM1364
x-IBM1381:  x-IBM1381
x-IBM1383:  x-IBM1383
x-IBM300:  x-IBM300
x-IBM33722:  x-IBM33722
x-IBM737:  x-IBM737
x-IBM833:  x-IBM833
x-IBM834:  x-IBM834
x-IBM856:  x-IBM856
x-IBM874:  x-IBM874
x-IBM875:  x-IBM875
x-IBM921:  x-IBM921
x-IBM922:  x-IBM922
x-IBM930:  x-IBM930
x-IBM933:  x-IBM933
x-IBM935:  x-IBM935
x-IBM937:  x-IBM937
x-IBM939:  x-IBM939
x-IBM942:  x-IBM942
x-IBM942C:  x-IBM942C
x-IBM943:  x-IBM943
x-IBM943C:  x-IBM943C
x-IBM948:  x-IBM948
x-IBM949:  x-IBM949
x-IBM949C:  x-IBM949C
x-IBM950:  x-IBM950
x-IBM964:  x-IBM964
x-IBM970:  x-IBM970
x-ISCII91:  x-ISCII91
x-ISO-2022-CN-CNS:  x-ISO-2022-CN-CNS
x-ISO-2022-CN-GB:  x-ISO-2022-CN-GB
x-iso-8859-11:  x-iso-8859-11
x-JIS0208:  x-JIS0208
x-JISAutoDetect:  x-JISAutoDetect
x-Johab:  x-Johab
x-MacArabic:  x-MacArabic
x-MacCentralEurope:  x-MacCentralEurope
x-MacCroatian:  x-MacCroatian
x-MacCyrillic:  x-MacCyrillic
x-MacDingbat:  x-MacDingbat
x-MacGreek:  x-MacGreek
x-MacHebrew:  x-MacHebrew
x-MacIceland:  x-MacIceland
x-MacRoman:  x-MacRoman
x-MacRomania:  x-MacRomania
x-MacSymbol:  x-MacSymbol
x-MacThai:  x-MacThai
x-MacTurkish:  x-MacTurkish
x-MacUkraine:  x-MacUkraine
x-MS932_0213:  x-MS932_0213
x-MS950-HKSCS:  x-MS950-HKSCS
x-MS950-HKSCS-XP:  x-MS950-HKSCS-XP
x-mswin-936:  x-mswin-936
x-PCK:  x-PCK
x-SJIS_0213:  x-SJIS_0213
x-UTF-16LE-BOM:  x-UTF-16LE-BOM
X-UTF-32BE-BOM:  X-UTF-32BE-BOM
X-UTF-32LE-BOM:  X-UTF-32LE-BOM
x-windows-50220:  x-windows-50220
x-windows-50221:  x-windows-50221
x-windows-874:  x-windows-874
x-windows-949:  x-windows-949
x-windows-950:  x-windows-950
x-windows-iso2022jp:  x-windows-iso2022jp

2、Java中的几种编码格式

2.1、文件、项目、工作空间的编码格式

默认是【文件编码格式】继承于【项目编码格式】继承于【工作空间编码格式】继承于【系统编码格式】。都可以自己设置。 

以eclipse里为例：

• • 【工作空间编码格式】设置：在Winodws->Preferences->General->Workspace里设置Text file encoding，默认继承于【系统编码格式】如简体中文环境下是GBK。这样每次新建工程默认都会以此编码
  • 【项目编码格式】设置：在项目右键->Source里设置Text file encoding，默认继承于【工作空间编码格式】。这样在项目下新建文件如java源文件会以此编码。
  • 【文件编码格式】设置：在文件右键->Source里设置Text file encoding，默认继承于【项目编码格式】。

　　值得注意的是，若在eclipse里保存了.java文件后又用上述方式修改了该文件的编码方式，则可能会出现乱码，并且新输入的代码可能也保存不了，提示输入的有些字符无法用当前编码方式映射保存。乱码原因是用新指定的编码格式来解码原来格式编码成的文件，保存不了原因是新输入的有些字符如中文无法用新编码格式如ISO8859-1编码。所以要修改已写好的.java文件的编码方式，为避免乱码等问题可以在文本编辑器中打开并另存为其他格式。

2.2、运行环境的编码格式

和外部进行数据交换（如读文件时）的时候所用的编码格式。可以通过 Charset.defaultCharset().name() 查看默认编码格式，继承于【文件编码格式】。

 Charset.defaultCharset()方法如下：可见 Charset.defaultCharset()优先采用 [调用此方法（直接或间接调用）的main函数所在的文件的] file.encoding，无法确认的话用UTF-8，

    public static Charset defaultCharset() {
        if (defaultCharset == null) {
            synchronized (Charset.class) {
                String csn = AccessController.doPrivileged(
                    new GetPropertyAction("file.encoding"));
                Charset cs = lookup(csn);
                if (cs != null)
                    defaultCharset = cs;
                else
                    defaultCharset = forName("UTF-8");
            }
        }
        return defaultCharset;
    }

需要注意的是，上面的file.encoding指的是main函数所在文件的编码方式，而不是Charset.defaultCharset()代码所在文件的编码方式。如有file1.java、file2.java两个文件，其编码方式不同，file1.java有个静态方法getFileEncoding()返回Charset.defaultCharset()，则file2.java里调用file1.getFileEncoding()得到的是file2.java的编码方式。

另，可在程序里获取file.encoding等system properties：

Properties prop = System.getProperties();
Iterator it = prop.keySet().iterator();
while (it.hasNext()) {
    String key = it.next().toString();
    System.out.println(key + ":           " + prop.getProperty(key));
}

结果中有几个值得注意的属性：

file.encoding:                  UTF-16 //即前面提到的file.encoding
sun.jnu.encoding:               GBK //网上说与文件命名、命令行参数等有关
sun.io.unicode.encoding:        UnicodeLittle //应该是Java内部编码，UTF-16L
sun.cpu.endian:                 little //CPU为小端

 这里的file.encoding指的是main函数所在文件的编码方式。

2.3、内部的编码格式

Unicode-16编码，是Java程序内部所用的编码格式。所有外部字符内容在Java 程序内全部转换成此编码格式。

.java文件中的字符串等（3.1）、外部文件、网络资源、数据库资源等读入后转为内部编码格式的数据；写出时从内部编码格式转为指定格式的数据；字符串在内存中也可按指定编码格式进行转换（3.2）。详见章节3。

3、Java中的数据编解码转换

.class文件：UTF-8格式

JVM内部：UTF-16格式

解码：

读：从外部读入（转换为Java内部编码UTF-16）：read；用于显示：文本编辑器打开显示

解码成字符（串）：new string(byte[])

编码：

写：用于保存或输出到外部（与字符流相关的才需编码，将字符按编码方式转成字节流后输出；若是字节流则直接输出，无需编码）或与外界（网络、数据库等）交互：与字符相关的write，如InputStreamReader、OutputStreamWriter、BufferedWriter等

转变成字节：String.getBytes()

字符（串）与byte[]之间转换时需要提供编码格式参数（然而很多时候我们没提供，其实此时采用了默认格式，即file.encoding）

String值始终是以内部编码格式（UTF-16）存储

3.1、默认转换：Java源文件到.class文件到内存

即编译器根据.java文件的编码格式读出其中的内容并编译成UTF-8格式的.class文件，包括字符串等；运行时JVM按UTF-8格式读取.class文件到内存中。

• • 保存：保存.java文件时，以file.encoding将文件内容编码成二进制存入文件。 
  • 编译：运行javac时若没有用-encoding参数指定源文件的编码方式，则以默认格式Charset.defaultCharset()即file.encoding来解码.java文件并编译成UTF-8格式.class文件。
  • 运行：运行Java程序时JVM以UTF-8格式解码.class文件并读入到内存中，此时包括字符串等都以UTF-16格式存在于内存中了。

上述过程一般不需用户干预，除非用户指定其他参数否则可以看出其就是用file.encoding格式来读.java文件并转成内部UTF-16格式的数据，因此这些默认转换一般不会出错。

3.2、运行中转换：网络文件、本地文件、数据库中的内容等

3.2.1、读入

• • 从本地文件中读到内存：按字节读流的话结果（byte[]）与程序运行环境的编码格式方式无关，只与文件的编码方式有关；按字符（串）读则与运行环境采用什么编码格式有关，需要将之指定为本地文件的编码方式或父集。这样在读时会以指定编码格式来解码被读取的文件，转变成内部的UTF-16格式于内存中。
  • 从网络文件中读到内存：与上类似。对于与浏览器交互的程序，如Servlet、JSP（也是转换成Servlet放在Web容器临时目录）等，若没有指定编码方式，则默认以ISO8859-1解码接收到的参数、编码返回的数据给浏览器。过程图如下：

• • 从数据库中读取到内存：与上类似，只不过默认编码格式也为8859-1。对于几乎所有数据库的JDBC驱动程序，默认的在JAVA程序和数据库之间传递数据都是以ISO-8859-1为默认编码格式的，所以，我们的程序在向数据库内存储包含中文的数据时，JDBC首先是把程序内部的UNICODE编码格式的数据转化为ISO-8859-1的格式，然后传递到数据库中，在数据库保存数据时，它默认即以ISO-8859-1保存。所以，这是为什么我们常常在数据库中读出的中文数据是乱码。 过程图如下：

3.2.2、写出

• • 从内存中写入到文件：将内存中UTF-16格式的内容 编码成 程序运行环境的编格式的内容，写出到文件。
  • 内存中转换：
    • 内存中数据编码格式转换：转换时一般都要指定某种编码格式，未指定的话采用Charset.defaultCharset()即file.encoding
      • String转byte[]如getBytes()：Java内部编码格式（UTF-16）的数据转换成指定格式的数据
      • byte[]转String：以指定格式将byte[]数据解码成字符串
      • 其他

3.2.3、console交互：（包含上述的读和写过程）

• • 这种情况，运行该类首先需要JVM支持，即操作系统中必须安装有JRE。运行过程是这样的：首先java启动JVM，此时JVM读出操作系统中保存的class文件并把内容读入内存中，此时内存中为UNICODE格式的class类，然后JVM运行它，如果此时此类需要接收用户输入，则类会默认用file.encoding编码格式对用户输入的串进行编码并转化为unicode保存入内存（用户可以设置输入流的编码格式）。程序运行后，产生的字符串（UNICODE编码的）再回交给JVM，最后JRE把此字符串再转化为file.encoding格式(用户可以设置输出流的编码格式)传递给操作系统显示接口并输出到界面上。 过程图如下：

 

 

以 下面代码为例，涉及到多次编解码转换（假定文件以UTF-8编码即file.encoding为UTF-8）：

        FileWriter fw = new FileWriter("文件1.txt");
        fw.write(new String("abc".getBytes("GBK"),"UTF-16"));
        fw.close();

1. 默认转换
   • 编码：保存.java源文件时，"abc"在文件中以file.encoding的格式编码成二进制存着。
   • 解码编码：编译时，编译器以file.encoding格式解码.java文件并编译成Java内部编码格式即UTF-16格式的.class文件。
   • 解码：程序运行时，JVM加载.class文件，以内部编码格式UTF-16解码.class文件，故"abc"以此格式存在内存中。
2. 程序中转换
   • 编码："abc".getBytes("GBK")将内存中UTF-16格式的"abc"编码成GBK格式，得到字节数组。
   • 解码：new String(bytes,"UTF-16"))将上步的GBK格式的字节数组解码成UTF-16的字符串。
   • 编码：fw.write()以FileWriter的默认编码方式Charset.defaultCharset()将上步的String编码成二进制写到文件里，当然也可以指定所用的编码方式。所以要正确显示文件里的内容，需要以写入时的相应编码方式来解码打开。

 另附一张不是很贴切的图，关于String、char[]、byte[]之间的转换：

4、参考资料

[1]、http://www.voidcn.com/blog/u013678930/article/p-6166506.html

[2]、http://www.iteye.com/topic/112049

[3]、http://1035054540-qq-com.iteye.com/blog/1856060

[4]、http://www.bianceng.cn/java/j149.htm