字符在内存中最终的表示形式是什么？是某种字符编码还是码位(Code Point)？

字符在内存中最终的表示形式是什么？是某种字符编码还是码位(Code Point)？

根据我的了解，编码中有三个核心概念：
1. 字符集(Character Set)，可以说是一个抽象概念，字符的合集
2. 码位(Code Point)，将抽象的字符集中每一个字符映射到一个整数
3. 字符编码(Encoding)，按照某种编码规则用二进制来表示一个字符

我对码位这个概念理解的不是很清楚，Code point中说：

The notion of a code point is used for abstraction, to distinguish both:

• the number from an encoding as a sequence of bits, and
• the abstract character from a particular graphical representation (glyph).

This is because one may wish to make these distinctions:

• encode a particular code space in different ways, or
• display a character via different glyphs.

说Code Point是用于抽象，但Java中依然可以使用codePointAt方法来获取实际的整数值

    String str = "JAVA";
    System.out.println("String = " + str);
        
    // codepoint at index 1
    int retval = str.codePointAt(1);
        
    // prints character at index1 in string
    System.out.println("Character(unicode point) = " + retval);

用Java的String来举例子，引用自深入分析 Java 中的中文编码问题：

String str = “I am 君山”;

String 内部的char 数组的值为 49 20 61 6d 20 541b 5c71

请问这char数组的值是码位吗，还是说是JVM使用的UTF16的编码？

字符在内存中最终的表示形式是什么？是不是和具体编程语言相关？

 

vczh，专业造轮子 https://github.com/vczh-libraries

code point是protocol，encoding是内存格式。这就像Unicode与UTF-32的区别一样。

 

 

林威建，敲代码的，java迷，在校生

 

1. 在现代编码模型里要知道一个字符如何映射成计算机里比特，需要经过如下几个步骤。

   
   
   1. 知道一个系统需要支持哪些字符，这些字符的集合被称为字符表（Character repertoire）
   2. 给字符表里的抽象字符编上一个数字，也就是字符集合到一个整数集合的映射。这种映射称为编码字符集（CCS:Coded Character Set）,unicode是属于这一层的概念，跟计算机里的什么进制啊没有任何关系，它是完全数学的抽象的。
   3. 将CCS里字符对应的整数转换成有限长度的比特值，便于以后计算机使用一定长度的二进制形式表示该整数。这个对应关系被称为字符编码表（CEF:Character Encoding Form）UTF-8, UTF-16都属于这层。
   4. 对于CEF得到的比特值具体如何在计算机中进行存储，传输。因为存在大端小端的问题，这就会跟具体的操作系统相关了。这种解决方案称为字符编码方案（CES:Character Encoding Scheme）。
   
   

   平常我们所说的编码都在第三步的时候完成了,都没有涉及到CES。

   以上摘自（http://blog.jobbole.com/39309/）

   unicode只是一种抽象概念，使用一个数字来表示字符集中的一个字符，相当于规定了unicode字符集中那一百多万个字符和数字的映射，代码点就相当于这个字符对应着的数字了。Java中采用UTF-16编码方式对unicode进行表示（unicode是一种抽象概念，只确定了字符和码位的映射关系，不管编码），就是字符串的编码是utf-16，题主的例子中很清楚了。

   注意char类型16位，单个char肯定无法表示这一百多万个码位的，一但字符串中出现了char无法表示的码位（字符）的时候，这时候就用utf-16进行编码，用多个char表示这个码位，相应字符串的length方法也比字符要多（length是char数组的长度），用charat方法也不一定能获得那个字符，而要用codepointat方法获得那个位置所在的字符的unicode码位，我记得还有一个codepointsize方法，可以获得具体的（码位）字符数。

   再次强调一下，这个码位表示的是一个整数，是unicode编码里规定的某个字符想对应的整数。

   所幸大多数常用字符都能用一个char类型表示，所以一般length方法都能确定字符串中字符的个数，但这个方式看起来不是那么可靠，所以不是处理英文的地方，算字符数量的时候，还是考虑不要用length了吧。

   以上。

   手机码字，求指正错误。

 

张焱凯，我的鲨鱼~也来自深海~~

 

感觉题主对字符编码已经理解的非常清楚了，不过我不知道题主说“我对码位这个概念理解的不是很清楚”是指哪里？

关于Java String的内存表示问题，题主说的那个内部char数组是UTF16码，而不是Unicode Code Point。其实Java里面的char本来就都是UTF16码，Unicode Code Point的数字范围已经超出char类型的范围了。

字符串对象在内存中的表示形式，不同语言确实有些许差异，不过大致只有两类：

一类是像C这种比较原始（raw）、比较底层、比较直接的语言，基本就是把你的源文件里面的那几个代表字符的字节原封不动的编译到可执行文件中，然后加载到内存中。所以这种情况下，字符串对象在内存中的表示形式，直接就是按你源文件的编码来的。

另一类是像Java、Python3之类的比较高级一点的语言，字符串对象在内存中通常是用UTF16表示的。

不过Python2情况还稍微复杂点，它有两种字符串对象，一种是UnicodeObject，另一种是StringObject。区别就是前者相当于Java String，后者相当于C char*。

现在C/C++中也有两种字符类型，一种是传统的char，另一种是宽字符wchar_t，这个跟Python2的情况比较类似。不过严格来说wchar_t的具体宽度是取决于不同编译器的实现的。GCC的实现貌似是32位，不知道是什么编码。VC应该是16位，采用UTF16编码。