zoukankan      html  css  js  c++  java
  • python全栈_008_Python3 字符编码

    1:字符编码

      我们已经讲过了,字符串也是一种数据类型,但是,字符串比较特殊的是还有一个编码问题。

      因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535(2**16-1),4个字节可以表示的最大整数是4294967295(2**32-1)

      由于计算机是美国人发明的,因此,最早只有127个字符被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65(ord('A')),小写字母z的编码是122

      但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。

      你可以想得到的是,全世界有上百种语言,日本把日文编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。

      因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。

      Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。

      ASCII编码和Unicode编码的区别:ASCII编码是1个字节,而Unicode编码通常是2个字节。

      字母A用ASCII编码是十进制的65,二进制的01000001

      字符0用ASCII编码是十进制的48,二进制的00110000,注意字符'0'和整数0是不同的;

      汉字已经超出了ASCII编码的范围,用Unicode编码是十进制的20013,二进制的01001110 00101101

      你可以猜测,如果把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是00000000 01000001

      新的问题又出现了:如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。

      所以,本着节约的精神,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间:

    字符ASCIIUnicodeUTF-8
    A 01000001 00000000 01000001 01000001
    x 01001110 00101101 11100100 10111000 10101101

      从上面的表格还可以发现,UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

      搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:

      在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。

      用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:

      

      浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:

      

      所以你看到很多网页的源码上会有类似<meta charset="UTF-8" />的信息,表示该网页正是用的UTF-8编码。

    2:Python的字符串

      在最新的Python 3版本中,字符串是以Unicode编码的,也就是说,Python的字符串支持多语言,例如:

    s = '123abc包含中文的str'
    print(s) # 123abc包含中文的str

      对于单个字符的编码(Unicode编码),Python提供了ord()函数获取字符的整数表示,chr()函数把编码转换为对应的字符:

    print(ord('A'))   # 输出 65
    print(ord(''))  # 输出 20013
    
    print(chr(65))  # 输出 A
    print(chr(20013)) # 输出 中
    print(chr(20014)) # 输出 丮
    print(chr(20015)) # 输出 丯

      如果知道字符的整数编码(Unicode编码),还可以用十六进制这么写str

    s =  'u4e2du6587'  #  Unicode编码
    print(s,type(s))  # 输出 中文  <class 'str'>

      由于Python的字符串类型是str,在内存中以Unicode表示,一个字符对应若干个字节。如果要在网络上传输,或者保存到磁盘上,就需要把str变为以字节为单位的bytes

      Python对bytes类型的数据用带b前缀的单引号或双引号表示:

      x = b'ABC'
    

      要注意区分'ABC'b'ABC',前者是str,后者虽然内容显示得和前者一样,但bytes的每个字符都只占用一个字节。

      以Unicode表示的str通过encode()方法可以编码为指定的bytes,例如:

    print('ABC'.encode('ascii')) # b'ABC'
    print('中文'.encode('utf-8')) # b'xe4xb8xadxe6x96x87123abc'
    print('中文'.encode('ascii')) # 报错 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

      纯英文的str可以用ASCII编码为bytes,内容是一样的,含有中文的str可以用UTF-8编码为bytes。含有中文的str无法用ASCII编码,因为中文编码的范围超过了ASCII编码的范围,Python会报错。

      在bytes中,无法显示为ASCII字符的字节,用x##显示。

    反过来,如果我们从网络或磁盘上读取了字节流,那么读到的数据就是bytes。要把bytes变为str,就需要用decode()方法:

    print(b'abc'.decode('ascii'))  # abc
    print(b'abc'.decode('utf-8'))  # abc
    print(b'xe4xb8xadxe6x96x87123abc'.decode('utf-8')) # 中文123abc

      如果bytes中包含无法解码的字节,decode()方法会报错:

    print(b'xe4xb8xadxff'.decode('utf-8'))  
    # UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 3: invalid start byte

      如果bytes中只有一小部分无效的字节,可以传入errors='ignore'忽略错误的字节

    print(b'xe4xb8xadxff'.decode('utf-8',errors='ignore')) #

      要计算str包含多少个字符,可以用len()函数,len()函数计算的是str的字符数,如果换成byteslen()函数就计算字节数:

    # 计算包含多少个字符
    print(len('ABC')) # 3
    print(len('中文')) # 2
    
    # 计算包含多少个字节
    print(len(b'ABC')) #3
    print(len(b'xe4xb8xadxe6x96x87'))  # 6
    print(len('中文'.encode('utf-8')))        # 6

      可见,1个中文字符经过UTF-8编码后通常会占用3个字节,而1个英文字符只占用1个字节

      在操作字符串时,我们经常遇到strbytes的互相转换。为了避免乱码问题,应当始终坚持使用UTF-8编码对strbytes进行转换。

      由于Python源代码也是一个文本文件,所以,当你的源代码中包含中文的时候,在保存源代码时,就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时,为了让它按UTF-8编码读取,我们通常在文件开头写上如下代码行:

    # -*- coding: utf-8 -*-

     -*- coding: utf-8 -*-   表示在保存源代码时按照utf-8编码(unicode.encode('utf-8'))保存到硬盘上去,在读起源代码时按照utf-8来读(str.decode('utf-8') )

    3:Python中编码的转换

    Python3中字符串在内存中是以unicode编码存在的,

    从网上下载,或者读文件,都是字节流,需要decode进行转换:
    utf-8 -> unicode      str.decode('utf-8')
    gbk -> unicode       str.decode('gbk')


    保存文件(把内容写到文件中)或者向网上发送数据,需要转换为字节流,即encode一下:
    unicode -> utf-8     unicode.encode('utf-8')
    unicode -> gbk       unicode.encode('gbk')

    utf-8 -> gbk  :首先把   utf-8 -> unicode ,再把unicode -> gbk:str.decode('utf-8','ignore').encode('gbk')

    gbk  -> utf-8 :              gbk -> unicode,unicode -> utf-8  : str.decode('gbk','ignore').encode('utf-8')

    def gbk2unicode(s):
        return s.decode('gbk', 'ignore')
    
    def utf82unicode(s):
        return s.decode('utf-8', 'ignore')
    
    # 带u的字符串为unicode
    def unicode2gbk(s):
        return s.encode('gbk')
    
    # 带u的字符串为unicode
    def unicode2utf8(s):
        return s.encode('utf-8')
    
    def gbk2utf8(s):
        return s.decode('gbk', 'ignore').encode('utf-8')
    
    def utf82gbk(s):
        return s.decode('utf-8', 'ignore').encode('gbk')
  • 相关阅读:
    WPF Caliburn 学习笔记(五)HelloCaliburn
    MSDN 教程短片 WPF 20(绑定3ObjectDataProvider)
    MSDN 教程短片 WPF 23(3D动画)
    比赛总结一
    HDU3686 Traffic Real Time Query System
    HDU3954 Level up
    EOJ382 Match Maker
    UESTC1565 Smart Typist
    HDU3578 Greedy Tino
    ZOJ1975 The Sierpinski Fractal
  • 原文地址:https://www.cnblogs.com/ixuby/p/10109677.html
Copyright © 2011-2022 走看看