zoukankan      html  css  js  c++  java
  • 关于Python字符编码encode和decode

    (注:本文部分内容摘自互联网,由于作者水平有限,不足之处,还望留言指正。)

          记得几天前,部门的一个小姑娘问我,怎么她Python打印出来的中文信息都乱码了?我走过去,略思一二,瞬间给她搞定,其实这是字符编码转换的问题。这时,我注意到小姑娘流露出一丝丝崇拜的眼神。所以我想,如果你连编码问题都搞不定,还怎么泡妞啊。可能一部分人也会进入这种误区,我以我小学生的水平,把我的理解结合网上的资料写下来。

         注意:Python3默认编码是unicode;而Python2是ASCII码。Windows环境默认是gbk编码

         常见编码错误原因:

              1. Python解释器的默认编码

              2. Python源文件文件编码

              3. Terminal使用的编码

              4. 操作系统的语言设置

         一、 编码的种类

             I、ASCII 占1个字节,只支持英文

             II、GB2312 占2个字节,支持6700+汉字

             III、GBK GB2312的升级版,支持21000+汉字,中文2个字节

             IV、Unicode 2-4字节 已经收录136690个字符

             V、UTF-8: 使用1、2、3、4个字节表示所有字符;优先使用1个字符、无法满足则使增加一个字节,最多4个字节。英文占1个字

                    节、欧洲语系占2个、东亚占3个,其它及特殊字符占4个中文3个字节。

             VI、UTF-16: 使用2、4个字节表示所有字符;优先使用2个字节,否则使用4个字节表示。

        二、 Python3的执行过程

            1.解释器找到代码文件,把代码字符串按文件头定义的编码加载到内存,转成unicode

            2.把代码字符串按照语法规则进行解释,

            3.所有的变量字符都会以unicode编码声明

            Py3 自动把文件编码转为unicode,Python2并不会自动的把文件编码转为unicode存在内存里。需要手动转码。

        三、手动转码规则

            UTF-8 --> decode 解码 --> Unicode

            Unicode --> encode 编码 --> GBK / UTF-8 等

            使用type可以查看编码形式,unicode是‘unicode’,gbk和utf-8是‘str或bytes’。

       实例:

            Python2中默认是ASCII码

    #coding=utf-8
    #Python2中默认是ASCII码,一般会加入以utf-8编程
    a = '编码'                       # a是utf-8类型
    b = a.decode('utf-8')       # b是Unicode类型
    c = b.encode('gbk')        #c是gbk类型
    d = c.decode('gbk').encode('utf-8')   #先将c转换成Unicode,再转成utf-8
    print a ,b,c,d
    print type(a),type(b),type(c),type(d)

    输出结果image

              Python3中默认是unicode

    a = '编码'                       # a是unicode类型
    b = a.encode('utf-8')       # b是utf-8类型
    c = a.encode('gbk')        #c是gbk类型
    print (a ,b,c)
    print (type(a),type(b),type(c))
    #python3默认是unicode类型

    输出结果image

            在Windows中默认gbk

    >>> a = '编码'
    >>> b = a.decode('gbk') #windows默认是gbk,先解码成unicode
    >>> c = b.encode('utf-8') #unicode转换成utf-8
    >>> a
    '\xb1\xe0\xc2\xeb'
    >>> b
    u'\u7f16\u7801'
    >>> c
    '\xe7\xbc\x96\xe7\xa0\x81'
    >>> print(a,b,c)
    ('\xb1\xe0\xc2\xeb', u'\u7f16\u7801', '\xe7\xbc\x96\xe7\xa0\x81')
    >>> type(a)
    <type 'str'>
    >>> type(b)
    <type 'unicode'>
    >>> type(c)
    <type 'str'>
    >>>

            就写这些吧。

           哎,我们曾经有梦,可是那一年毕业了,梦去另一个城市搬砖了Be right back。梦是我同学呀。Be right back

  • 相关阅读:
    青蛙学Linux—软件安装
    青蛙学Linux—文本编辑器Vi/Vim
    linux下安装java
    anaconda 换源
    origin从图中获得数据
    endnote X7参考文献缩进设置
    endnote X7 加入文献
    endnote X7使用方法
    linux下安装openmpi
    origin添加error bar
  • 原文地址:https://www.cnblogs.com/yunguoxiaoqiao/p/7588725.html
Copyright © 2011-2022 走看看