zoukankan      html  css  js  c++  java
  • Python的ASCII, GB2312, Unicode , UTF-8 相互转换

    ASCII 是一种字符集,包括大小写的英文字母、数字、控制字符等,它用一个字节表示,范围是 0-127 Unicode分为UTF-8和UTF-16。
    UTF-8变长度的,最多 6 个字节,小于 127 的字符用一个字节表示,与 ASCII 字符集的结果一样,ASCII 编码下的英语文本不需要修改就可以当作 UTF-8 编码进行处理。 
    Python 从 2.2 开始支持 Unicode ,函数 decode( char_set )可以实现 其它编码到 Unicode 的转换,函数 encode( char_set )实现 Unicode 到其它编码方式的转换。 
    比如

    ("你好").decode( "GB2312") 

    将得到 

    u'u4f60u597d',
    即 "你"和“好"的 Unicode 码分别是 0x4f60 和 0x597d 
    再用 

    (u'u4f60u597d').encode("UTF-8") 
    

      

    将得到 

    'xe4xbdxa0xe5xa5xbd'
    它是 “你好”的UTF-8编码结果。 
    python中使用 unicode的关键:unicode是一个类,函数unicode(str,"utf8")从utf8编码(当然也可以是别的编码)的字符串str生成 unicode类的对象,而函数unc.encode("utf8")将unicode类的对象unc转换为(编码为)utf8编码(当然也可以是别的编码)的字符串。于是,编写unicode相关程序,需要做的事情是 * 获取数据(字符串)时,用unicode(str, "utf8")生成unicode对象 * 在程序中仅使用unicode对象,对程序中出现的字符串常量都以u"字符串"的形式书写 * 输出时,可将unicode对象转换为任意编码输出,使用str.encode("some_encoding")

    >>> unicode("你好", "utf8")   
           u'u4f60u597d'   
      
    >>> x = _   
      
    >>> type(x)   
      
    >>> type("你好")   
      
    >>> x.encode("utf8")   
           'xe4xbdxa0xe5xa5xbd'   
      
    >>> x.encode("gbk")   
           'xc4xe3xbaxc3'   
      
    >>> x.encode("gb2312")   
           'xc4xe3xbaxc3'   
      
    >>> print x   
           你好   
      
    >>> print x.encode("utf8")   
           你好   
      
    >>> print x.encode("gbk")   
           ???   
    

      

    以上是测试结果(Ubuntu 6.06,locale为utf8),注意type(x)和type("你好")的区别。从编码上可以看出utf8编码与gbk不同。在utf8的 locale设置下,打印x按该环境变量编码(我猜我猜我猜猜猜),而打印x.encode("gbk")则是乱码。

  • 相关阅读:
    STL
    STL
    Python编程-基础知识-条件判断
    STL
    springmvc 自定义注解
    Springboot 入口类及其实现自动配置的原理
    Java RestTemplate post请求传递参数遇到的坑
    Spring中@Autowire的底层原理解析(附详细源码阅读步骤)
    非常详细的SpringBoot-自动装配原理
    为何一个@LoadBalanced注解就能让RestTemplate拥有负载均衡的能力?
  • 原文地址:https://www.cnblogs.com/raphael5200/p/5998818.html
Copyright © 2011-2022 走看看