zoukankan      html  css  js  c++  java
  • Unicode in Perl 初探

    Unicode 简介:

    Unicode 是标准的字符集,它的目的是对世界上任何文字系统里面的符号和其它一些符号进行编码。它为在任何一个其它character set standards 中的charater提供对应的code point。

    unicode 中的character是一个抽象实体,Unicode是语言无关的和显示无关的,也就是说,每一个character对应一个唯一code point,如U+0639 是ARABIC LETTEN AIN(Normative name),而英语中A在Unicode中的code point 是U+0041. 同理,字符串“Hello”的Unicode 表示为”U+0048 U+0065 U+006C U+006C U+006F”。可以看出来,Hello字符中的Unicode只是一组code point串。

    但是在内存中, Unicode串需要如何表示呢?这就涉及到Unicode编码(encoding)。

    UCS : Unicode char set(ISO 标准)

    UCS-2 和 UCS-4两种

    UTF: Unicode Transform Format (Unicode 小组)

    UTF-8, UTF-16, UTF-32 三种编码方式。

    其中UTF-8 是变码长,目的是兼容ASCII。

    Unicode in PERL:

    从Perl 5.6.0 开始, perl可以处理unicode字符。在perl 5.6.0之前, perl中的字符串可以看成是byte序列。但是在perl5.6.0之后,perl中的character可能会比一个byte宽,所以,此时,应该将 perl中的字符串看出是一组number的序列,而不是一组byte序列。其中,number的取值范围是(0..2**32-1)。number的值越大,其所代表的抽象的character就越宽。perl5.6之后,内部基于UTF-8对unicode字符进行编码,所以每个character number可能占用一个byte,也可能占用多个byte。比如,/x{FFFF_FFFF_FFFF_FFFF}的char number为”18,446,744,073,709,551,615“,一个byte是不够的(事实上,它需要13个bytes)。但是如果字符串中 char number 在0-255之间,它就可以被存放到一个byte当中,所以在低七位,ASCII和UTF-8编码是相同的。

    例子一:字符串的字符的char number在0-255之间,perl内部自动使用ASCII进行编码。

    #perl -MDevel::Peek -e '$a="/x{31}"; Dump($a); '
    SV = PV(0x8f8b6d0) at 0x8fa72a0
      REFCNT = 1
      FLAGS = (POK,pPOK)
      PV = 0x8fa2a00 "1"/0
      CUR = 1
      LEN = 4

    例子二:字符串的字符的char number大于255,perl内部使用UTF-8进行编码。

    U+6c49->“汉”

    #perl -MDevel::Peek -e '$a="/x{6c49}"; Dump($a); '
    SV = PV(0x9c096d0) at 0x9c252a0
      REFCNT = 1
      FLAGS = (POK,pPOK,UTF8)
      PV = 0x9c20a00 "/346/261/211"/0 [UTF8 "/x{6c49}"]
      CUR = 3
      LEN = 4

    可以看出, Scalar的UTF8 flags被设置,说明使用utf-8 编码。同时PV = 0x9c20a00 "/346/261/211"/0 [UTF8 "/x{6c49}"], 其中“汉”的char code为U+6C49, 其对应的UTF-8编码为0xE6 0xB1 0x89, 其八进制是"/346/261/211" (查询code point对应的UTF-8编码,参见http://www.fileformat.info/info/unicode/char/6c49/index.htm)

    Perl 编解码流程:

    untitled

    关于PerlIO,详见http://perldoc.perl.org/PerlIO.html

    参考资料:

    [1] Perl unicode in 5 min.ppt 王辉

    [2]http://www.joelonsoftware.com/articles/Unicode.html Joel on software

    [3]http://www.fileformat.info/info/unicode/utf8.htm

    [4]perluniintro

    [5]perlunicode

  • 相关阅读:
    支付
    mui自定义事件带参返回mui.back()
    tomcat+nginx反向代理(实现一个服务器,一个ip共用80端口)
    mui.back()返回刷新功能
    WiFi(网络)调试Android手机
    mysql获取外键, 根据数据库名和表名获取表所对应的所有外键
    @RequestBody接收json字符串,自动将日期字符串转换为java.util.Date
    使用MySQLWorkBench绘制ER图
    jpa动态分页查找
    displaytag的Excel导出实践
  • 原文地址:https://www.cnblogs.com/yuboyue/p/2109853.html
Copyright © 2011-2022 走看看