zoukankan      html  css  js  c++  java
  • Python简介及编码

    首先Python是一种语言,因此根据其实现的不同,有Cpython, Jython, IronPython, Pypy等。

    Python执行流程

    $ python /home/hello.py    当在终端上执行py文件,流程图如下:

    字符集

    • ASCII(American Standard Code for Information Interchange,美国标准信息交换代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言,其最多只能用 8 位来表示(一个字节),即:2**8 = 256,所以,ASCII码最多只能表示 256 个符号。显然ASCII码无法将世界上的各种文字和符号全部表示,所以,就需要新出一种可以代表所有字符和符号的编码,即:Unicode
    • Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,规定虽有的字符和符号最少由 16 位来表示(2个字节),即:2 **16 = 65536,注:此处说的的是最少2个字节,可能更多。
    • UTF-8是对Unicode编码的压缩和优化,目前使用的最广泛,是一种可变长字符编码,他不再使用最少使用2个字节,而是将所有的字符和符号进行分类:ascii码中的内容用1个字节保存、欧洲的字符用2个字节保存,东亚的字符用3个字节保存。

      

      内存读写信息是以byte为单位.

      

    编码和解码(encode==编码,decode==解码)

    为什么要编码和解码?

    答案是:便于存储和传输。因为计算机底层只能识别0和1的二进制数据,encode就是把逻辑上的字符变成二进制数据,以便存储和传输,使用decode把二进制数据解码成逻辑的字符便于用户理解和操作。至于编码前和解码后的字符是怎么存储的,是Python的内部实现,只有 Python 自己需要操心,用户不用管,就像你不用管整数在 Python 内存里长什么样一样,但是你把整数存起来或者传输到网络上时就得考虑,是转成十进制字符串表示呢,还是转成32位无符号小端序表示呢,还是64位有符号网络序表示呢……

    python 2.x 默认编码(ASCII)

    在Python2中默认是ASCII编码,所以不支持中文,如果要支持中文就必须声明为unicode字符串,即在字符串前面加个u。

    >>> str1 = 'my name is Ray'    # ascii字符串
    >>> str2 = u'我的名字是Ray'    # unicode字符串
    >>>
    >>> type(str1)
    <type 'str'>
    >>> type(str2)
    <type 'unicode'>
    View Code

    非unicode字符串需要先解码为unicode字符集才能编码为其他字符集,unicode字符集起到一个中介作用。

    >>> str1 = 'my name is Ray'
    >>> str2 = u'我的名字是Ray'
    >>>
    >>> str1.decode()
    u'my name is Ray'
    >>>
    >>> str1.decode().encode('utf-8')
    'my name is Ray'
    >>> 
    >>> str2.encode('gbk')
    'xcexd2xb5xc4xc3xfbxd7xd6xcaxc7Ray'
    View Code

    python解释器在加载 .py 文件中的代码时,会对内容进行编码(默认ascill),如果有文件中有非ascii字符出现,则需要申明utf-8编码,让解释器以utf-8编码,不然会报错。

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-

    python 3.x 默认编码(unicode)

    在Python3中字符串都是str类型,编码之后变成byte类型(二进制,输出时一般以16进制或者10进制表示,方便查看),str类型使用encode编码为byte类型,byte类型使用decode解码为str类型,也可以使用str()和bytes()方法对两种类型进行转换,效果是一样的。

    >>> str1 = 'Hello China'
    >>> str2 = '你好中国'
    >>>
    >>> type(str1)
    <class 'str'>
    >>> type(str2)
    <class 'str'>
    >>>
    >>> str1.encode('utf-8')
    b'Hello China'
    >>> str2.encode('gbk')
    b'xc4xe3xbaxc3xd6xd0xb9xfa'
    >>>
    >>> s3 = str1.encode('utf-8')
    >>> s4 = str2.encode('gbk')
    >>>
    >>> type(s3)
    <class 'bytes'>
    >>> type(s4)
    <class 'bytes'>
    >>>
    >>> for i in str2:
    ...     print(i)
    ...
    你
    好
    中
    国
    >>> for j in s4:
    ...     print(j)
    ...
    196
    227
    186
    195
    214
    208
    185
    250
    >>>
    # 使用str()和bytes()转换,效果是一样的
    >>> str(s4, 'gbk')
    '你好中国'
    >>> bytes(str2, 'gbk')
    b'xc4xe3xbaxc3xd6xd0xb9xfa'
    >>>
    View Code
  • 相关阅读:
    L1范数和L2范数
    Python---scikit-learn(sklearn)模块
    Python------SciPy模块
    Python---Pandas模块
    Python---NumPy模块---矩阵操作
    Python---NumPy模块
    sift代码实现详解
    opencv 图像
    OpenCV-Mat结构详解
    OpenCV3+VS2015 经常出现debug error abort()has been called问题
  • 原文地址:https://www.cnblogs.com/raykuan/p/5727687.html
Copyright © 2011-2022 走看看