计算机基础与字符编码

计算机基础

1. cpu: 控制程序的运行(从内存中取出文本编辑器的数据读入内存)
2. 内存: 运行程序(经cpu操作后,内存中含有文本编辑器的数据)
3. 硬盘: 存储数据(文本编辑器)
   

文本编辑器

计算机只认识 0和1

文本编辑器的作用: 读写数据,保存数据

python解释器

具有文本编辑器的功能

010101011001010 --> a = 1 # 5个很普通的字符 ,python解释器没有运行的时候提供的 # 字符编码

定义变量就要开辟内存空间存放变量,内存只认识 0和1 也就是说, a=1 --> 01010110101 需要一定的0和1表示他为字符串,python解释器运行的时候提供的 # python2和3字符编码的区别

字符编码

字符编码: 二进制 和 你所能认识的字符 之间的相互转换的一个过程

早期的ascii码

0 1 a b 2^1

00 01 10 11 a b c d 2^2

2^3

8位 2^8=256

0000 0000

0000 0001

0100 0001 A

0100 0001 A 英文

0000 0001 0000 0000 A 中文

1111 1111 1111 A 日文

中国人也要电脑,中国人就自己造一个,gbk,4个字节

0000 0000 0000 2^12 # 4096

0000 0000 0000 0000 2^16

小日本也需要电脑,日本人也造一个shift,

韩国人需要电脑,也造一个Euc,

现在有一个精通18国语言的人,非要装逼用18门语言写一个程序

这个时候就需要一个通用的编码，来实现这一功能

这时候就有一个新的编码Unicode
优点: 认识万国语言,万国编码

缺点： 把 8位的英文变成了16位的英文, 多占用了内存空间

什么情况会出现乱码

编码格式不统一

文本编辑器支持的是utf8 ,你输入的是gbk --> 文件的存储

文件存储用了utf8 ,但是下次打开用了gbk --> 文件的读取

0000 0001 上(中文)

0000 0000 下(中文)

0000 0000 上(日文)

0000 0001 下(日文)

用中文的编辑器存储了 日文的 0000 0000 乱码,识别成了 下

乱码的两种情况

中文的文本编辑器只认识中文,然后你输入了日文 --> 乱码 # encode 编码

文本编辑器存储了中文(文件),但是你用日本的编辑器打开这个文件 --> 乱码 # decode 解码

解决乱码

什么格式存储, 就什么格式读取 就不会乱码(牢记这句话)

windows电脑的记事本默认为gbk编码,除此之外其他的软件默认编码为utf8

python解释器运行代码的流程

1. 启动python解释器(相当于文本编辑器)
2. 打开文件,显示这个字符并检查语法(涉及字符编码, a=1只是一个很普通的字符)
3. 解释字符 (涉及字符编码,再去内存空间 生成一个a=1的变量)

python2用的是ascii, python3默认是utf8读取字符

# coding:gbk会告诉python3解释器用gbk编码读取字符

python3(了解)

你看到的其实是unicode

但是终端帮你把这个unicode的0和1做一个转换,从unicode转换成了终端能够识别的编码格式,然后变成中文

# coding:gbk
a = '中文'  # 用unicode编码存储了这堆0和1
print(a)  # 010101010

假设终端的默认编码是gbk , 认识 unicode编码的变量

假设终端的默认编码是utf8,认识 unicode编码的变量

Python2(了解)

unicode + 指定的coding编码(str类型)

在第三步的时候python2和python3有区别

python2

会用unicode编码存放变量; 还会用文件默认的编码存放变量

假设文件默认的编码是gbk,生成的变量就会用gbk形式存储变量,终端默认编码也是gbk,没有问题
假设文件默认的编码是gbk,生成的变量就会用gbk形式存储变量,终端默认编码也是utf8,有问题

python3

就用unicode的编码存放变量 a = 1

当我们打印a的时候,本来应该打印出0和1,但是终端会按照他的编码规则吧0和1转成人类认识的字符

用什么编码存,就用什么编码取

# coding:gbk
a = '中文'  # 用gbk编码存储了这堆0和1
a = u'中文'  # 用unicode编码存储了这堆0和1
print(a)

终端是一个文本编辑器,会有默认编码.

假设终端的默认编码是gbk , 认识 gbk编码的变量

假设终端的默认编码是utf8, 不认识 gbk编码的变量