python模块之序列化

序列化

什么是序列化

序列化是将字典、列表等数据类型转化成一个字符串的过程

序列化的目的

1. 以某种存储形式使自定义对象持久化（存储）

2. 将对象从一个地方传递到另一个我地方（传输）

3. 使程序更具维护性

json模块

json是很多语言通用的一种数据标准，json可以转化的数据类型包括：str   int   bool   dict   list(tuple)   None 

json模块有四种方法：dumps， loads, dump, load

dumps和loads

处理列表

import json
lst = [1, 2, "a", "哈哈"]
s = json.dumps(lst, ensure_ascii=False)   # 包含非ascii字符时要加上ensure_ascii=False
print(s[0])      # [ 可以像字符串一样取值
print(s[1])     # 1
print(s[1:8])     # 也可以切片  1, 2, "  注意列表元素之间有空格
print(s, type(s))     # [1, 2, "a", "哈哈"] <class 'str'>
l1 = json.loads(s)
print(l1, type(l1))    # [1, 2, 'a', '哈哈'] <class 'list'>

dumps也可以处理嵌套的数据类型，注意json会自动把字典的key变成字符串格式，元组转化之后会变成列表

import json
dic = {"1": {1: "青", 2: "梅", 3: "竹", 4: "马"}, "2": {1: "两", 2: "小", 3: "无", 4: "猜"}}
s = json.dumps(dic, ensure_ascii=False)
# print(s)
dic1 = json.loads(s)
print(dic1)    # {'1': {'1': '青', '2': '梅', '3': '竹', '4': '马'}, '2': {'1': '两', '2': '小', '3': '无', '4': '猜'}}

dump和load

dump和load用于将数据写入文件和读出

import json
dic = {1: "你", 2: "我"}
with open("序列化.json", encoding="utf-8", mode="w") as f1:
    json.dump(dic, f1, ensure_ascii=False)

with open("序列化.json", encoding="utf-8", mode="r") as f2:
    ret = json.load(f2)

print(ret)    # {'1': '你', '2': '我'}

一次只能写入一个数据，超过一个读取就会出错

import json
dic1 = {1: "你", 2: "我"}
dic2 = {1: "我", 2: "你"}
a = None
with open("序列化.json", encoding="utf-8", mode="w") as f1:
    json.dump(dic1, f1, ensure_ascii=False)
    json.dump(dic2, f1, ensure_ascii=False)

with open("序列化.json", encoding="utf-8", mode="r") as f2:
    ret1 = json.load(f2)    # 报错json.decoder.JSONDecodeError: Extra data: line 1 column 21 (char 20)
    ret2 = json.load(f2)

怎么同时写入多个数据呢，循环使用dumps，先用dumps把数据转化成json字符串，再用文件句柄写入

import json
dic1 = {1: "你", 2: "我"}
dic2 = {1: "我", 2: "你"}
a = None   # 写进文件会变成null
b = 100
c = (1, 2, 3)
d = True
with open("序列化.json", encoding="utf-8", mode="w") as f1:
    f1.write(json.dumps(dic1, ensure_ascii=False))   # {"1": "你", "2": "我"}
    f1.write("
")
    f1.write(json.dumps(dic2, ensure_ascii=False))   # {"1": "我", "2": "你"}
    f1.write("
")
    f1.write(json.dumps(a))   # null
    f1.write("
")
    f1.write(json.dumps(b))   # 100
    f1.write("
")
    f1.write(json.dumps(c))   # [1, 2, 3]    # 元组反序列化之后是列表
    f1.write("
")
    f1.write(json.dumps(d))   # true

pickle模块

json模块只能将常用的数据类型进行序列化，pickle模块是python独有的，可以将所有的python的数据类型（包括对象)序列化

import pickle
dic1 = {1: "你", 2: "我"}
p1 = pickle.dumps(dic1)
print(p1)   # b'x80x03}qx00(Kx01Xx03x00x00x00xe4xbdxa0qx01Kx02Xx03x00x00x00xe6x88x91qx02u.'

pickle是将数据类型转化成bytes类型存入文件中，用load也可以读出来

with open("p1.pickle", mode="rb") as f2:   # 注意这里是rb模式
    re = pickle.load(f2)
print(re)   # {1: '你', 2: '我'}

与json不同，pickle可以一次写入和读取多个数据

import pickle
dic1 = {1: "你", 2: "我"}
dic2 = {1: "我", 2: "你"}
a = None   # 写进文件会变成null
b = 100
c = (1, 2, 3)
d = True
with open("p1.pickle", mode="wb") as f1:
    pickle.dump(dic1, f1)
    pickle.dump(dic2, f1)
    pickle.dump(a, f1)
    pickle.dump(b, f1)
    pickle.dump(c, f1)

with open("p1.pickle", mode="rb") as f2:
    ret1 = pickle.load(f2)
    ret2 = pickle.load(f2)
    ret3 = pickle.load(f2)
    ret4 = pickle.load(f2)
    ret5 = pickle.load(f2)   # pickle反序列化出来还是元组
print(ret1)    # {1: '你', 2: '我'}
print(ret2)    # {1: '我', 2: '你'}
print(ret3)    # None
print(ret4)    # 100
print(ret5)    # (1, 2, 3)

pickle也可以转化python对象

import pickle
def func():
    print(111)


with open("p2.pickle", mode="wb") as f1:   # 模式必须是wb
    pickle.dump(func, f1)


with open("p2.pickle", mode="rb") as f2:
    re = pickle.load(f2)
print(re)   # <function func at 0x000001D1FF081E18>

json与pickele比较

1. json是通用的，别的语言也可以识别，pickle只能python识别

2. json只能转化str   int   bool   dict   list(tuple)   None，pickle可以转化所有Python数据类型

 

shelve模块

shelve也是python提供给我们的序列化工具，比pickle用起来更简单一些。shelve只提供给我们一个open方法，是用key来访问的，使用起来和字典类似

import shelve
f = shelve.open("shelve_file")  # 写入了三个文件bak dat dir
f["key"] = {"int": 10, "float": 3.4}
f.close()

f = shelve.open("shelve_file")
print(f["key"])    # {'int': 10, 'float': 3.4}
f.close()

存储到shelve的文件一般不让修改，如果要修改可以加一个参数writeback=True

不加参数

f1 = shelve.open("shelve_file")
f1["key"]["int"] = 20
f1.close()

f2 = shelve.open("shelve_file")
print(f2["key"])  # {'int': 10, 'float': 3.4} 并没有修改

加上writeback=True

f3 = shelve.open("shelve_file", writeback=True)
f3["key"]["int"] = 20
f3.close()

f4 = shelve.open("shelve_file")
print(f4["key"])   # {'int': 20, 'float': 3.4}
f4.close()

总结

1. 序列化就是把其他数据类型转化成字符串的过程

2. 常用的序列化模块是json，可以不同语言间通用，使用方法有dumps, loads 和dump, load

3. pickle是python独有的，可以转化所有Python数据类型

4. shelve像字典一样可以用key来访问，一般不让修改