什么是序列化？
将一组或多组数据结构转化成一个字符串的过程就叫做序列化
它的目的：
序列化的结构是字符串，准确的说是bytes类型，方便存储
方便于网络传输，
既然序列化是从数据类型到字符串的过程，那是不是可以在反序列化的时候使用eval呢
事实证明：eval对于很多类型反序列化的时候改变了原来数据的类型，再一个就是不安全
序列化： 数据结构 --》 字符串
反序列化：字符串 --》数据结构
一 json
json 是大部分语言都支持的的序列化格式，但是对于python而言支持的数据类型有限。
它支持的类型有：字典，列表，数字类型，而且json里面只允许使用双引号，
还有一点，当将两个以上的数据类型（即使是同一个类型）写入一行，读取也会报错
json的序列化
下面看看json的一个例子
import json dic={'a':1} x=None res=json.dumps(dic) print(res,type(res)) #{"a": 1} <class 'str'> 这里面的是双引号 print(json.dumps(x)) #由None转化成了null
如果写入文件呢
import json dic={'a':1,'name':'xinxin'} with open('user.json','w',encoding='utf-8') as f: f.write(json.dumps(dic)) #查看文件的结果为：{"a": 1, "name": "xinxin"} 着里面都变成双引号了
那上面的写入文件是不是可以简便点呢？答案是可以
json.dump(dic,open('user_new.json','w',encoding='utf-8')) #结果是一样的
json的反序列化
# json.dump(dic,open('user_new.json','w',encoding='utf-8')) # with open('user.json','r',encoding='utf-8') as f: # user=json.loads(f.read()) # print(user['name']) #上面的太麻烦，简便点 user=json.load(open('user.json','r',encoding='utf-8')) print(user['name'])
json对字符串的处理
# json_str='{"count":1}' # print(json.loads(json_str)['count']) #答案为 1 说明是可以解析出来 json_str="{'count':1}" print(json.loads(json_str)['count']) #json对于这种格式会报错 #如果在文件里面写单引号会怎么样？ #答案：json使用load和loads都会报错
json的一行内是不能存储两个类型的数据类型的，即使是同一个类型的两个，那么怎么解决呢
a={'1':'a'}
b={'2':'b'}
c={'3':'c'}
msg=''
msg+=json.dumps(a)+'
'
msg+=json.dumps(b)+'
'
msg+=json.dumps(c)+'
'
# with open('user_new.json','w',encoding='utf-8') as f:
# f.write(msg)
# res=json.load(open('user_new.json','r',encoding='utf-8'))
# print(res) #报错 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 11)
with open('user_new.json','r',encoding='utf-8') as f:
for i in f:
print(json.loads(i.strip()))
'''
{'1': 'a'}
{'2': 'b'}
{'3': 'c'}
原本字典里面的整数变成了字符串，这是一个缺陷
'''
上面的例子是使用dumps拼接然后使用loads读取的例子，那么使用load是否可以读取呢
res=json.load(open('user_new.json','r',encoding='utf-8')) print(res) #报错 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 11) #之后我将着三行数据只留下一行，发现可以读取了 #看来，存入多行内容到文件时， # 1 分别使用dumps转化成字符串 +上 # 2 反序列化的时候，按行读取去掉 ,再使用loads反序列化
如果对于拼接后的字符串使用dump直接写入呢
json.dump(msg,open('user.json','w',encoding='utf-8')) #文件中的结果 "{"1": "a"} {"2": "b"} {"3": "c"} " #结果就变得不一样了
下面是一个json序列化和反序列化中文的情况
dicc={'序号':'one'}
# res=json.dumps(dicc)
# ret=json.loads(res)
# print(ret) #正常显示中文
# f=open('user.json','w',encoding='utf-8')
# json.dump(dicc,f) #查看文件 {"u5e8fu53f7": "one"}
# f.close()
# f=open('user.json','r',encoding='utf-8')
# res=json.load(f)
# print(res) #正常显示中文
# f.close()
f=open('user.json','w',encoding='utf-8')
json.dump(dicc,f,ensure_ascii=False) #查看文件{"序号": "one"} 正常显示中文了
f.close()
#json使用dumps序列化后，使用loads是能正常显示中文的，这个是变量的情况，在内存中
#但是写入文件里面，查看文件的内容却是二进制，当然还是可以dump导出看出中文
#要想在文件里面也显示为中文，使用 ensure_ascii=False
总结：
dumps序列化 loads反序列化 只在内存中操作数据 主要用于网络传输 和多个数据与文件打交道
dump序列化 load反序列化 主要用于一个数据直接存在文件里—— 直接和文件打交道
json的其他参数说明
Serialize obj to a JSON formatted str.(字符串表示的json对象) Skipkeys：默认值是False，如果dict的keys内的数据不是python的基本类型(str,unicode,int,long,float,bool,None)，设置为False时，就会报TypeError的错误。此时设置成True，则会跳过这类key ensure_ascii:，当它为True的时候，所有非ASCII码字符显示为uXXXX序列，只需在dump时将ensure_ascii设置为False即可，此时存入json的中文即可正常显示。) If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse). If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). indent：应该是一个非负的整型，如果是0就是顶格分行显示，如果为空就是一行最紧凑显示，否则会换行且按照indent的数值显示前面的空白分行显示，这样打印出来的json数据也叫pretty-printed json separators：分隔符，实际上是(item_separator, dict_separator)的一个元组，默认的就是(‘,’,’:’)；这表示dictionary内keys之间用“,”隔开，而KEY和value之间用“：”隔开。 default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. sort_keys：将数据根据keys的值进行排序。 To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.
举例：json的格式话输出：
data={'username':['李华','二愣子'],'sex':'male','age':16}
json_dic=json.dumps(data,sort_keys=True,indent=2,separators=(',',':'),ensure_ascii=False)
print(json_dic)
'''
显示结果为：
{
"age":16,
"sex":"male",
"username":[
"李华",
"二愣子"
]
}
如果indent=0 就顶格写了
'''
二 pickle
pickle支持python中几乎所有的数据类型，包括自定义的类和对象
它和json的区别：json序列化之后是字符串，pickle是bytes类型
dic={'k1':'v1','k2':'v2','k3':'v3'}
str_dic=pickle.dumps(dic) #序列化
print(str_dic) #显示的一串bytes类型的字符串
dic2=pickle.loads(str_dic) #反序列化
print(dic2) #{'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}
import time
# struct_time=time.localtime(1000000000)
# print(struct_time)
# f=open('pickle_file','wb')
# pickle.dump(struct_time,f) #它写入文件查看时时乱码
# f.close()
#读取文件
# f=open('pickle_file','rb')
# struct_time2=pickle.load(f)
# print(struct_time2.tm_year) #成功显示2001
# f.close()
#将文件的写入和读取使用其他编码时报错，因此，pickle只能使用bytes类型的方式操作
其他：
这时候机智的你又要说了，既然pickle如此强大，为什么还要学json呢？
这里我们要说明一下，json是一种所有的语言都可以识别的数据结构。
如果我们将一个字典或者序列化成了一个json存在文件里，那么java代码或者js代码也可以拿来用。
但是如果我们用pickle进行序列化，其他语言就不能读懂这是什么了～
所以，如果你序列化的内容是列表或者字典，我们非常推荐你使用json模块
但如果出于某种原因你不得不序列化其他的数据类型，而未来你还会用python对这个数据进行反序列化的话，那么就可以使用pickle
三 shelve
shelve也是python中提供序列化的模块，使用方法简单
shelve只提供给我们一个open方法，是用key来访问的，使用起来和字典类似。
缺点：
适合读，不适合更新，在writeback时会把所有的数据都重新写入，结果就是可能消耗内存很多，写入耗时；
不能并发的读写，不过可以使用Unix文件锁进行控制（fcntl）；
import shelve f=shelve.open('shelve_file') f['key']={'int':10, 'float':9.5, 'string':'Sample data'} f.close()
上面的例子执行后，会产生3个文件，类似于mysql的myisam表
shelve_file.bak 查看：'key', (0, 72)
shelve_file.dat 查看：乱码
shelve_file.dir 查看： 'key', (0, 72)
下面时读取文件
1 import shelve 2 f1=shelve.open('shelve_file') 3 existing=f1['key'] ##取出数据的时候也只需要直接用key获取即可，但是如果key不存在会报错 4 f1.close() 5 print(existing) #可以读出内容{'int': 10, 'float': 9.5, 'string': 'Sample data'}
这个模块有个限制，它不支持多个应用同一时间往同一个DB进行写操作。所以当我们知道我们的应用如果只进行读操作，我们可以让shelve通过只读方式打开DB
import shelve f = shelve.open('shelve_file', flag='r') existing = f['key'] f.close() print(existing)
由于shelve在默认情况下是不会记录待持久化对象的任何修改的，所以我们在shelve.open()时候需要修改默认参数，否则对象的修改不会保存。
import shelve f1 = shelve.open('shelve_file') print(f1['key']) f1['key']['new_value'] = 'this was not here before' f1.close() f2 = shelve.open('shelve_file', writeback=True) print(f2['key']) f2['key']['new_value'] = 'this was not here before' f2.close()
writeback方式有优点也有缺点。优点是减少了我们出错的概率，并且让对象的持久化对用户更加的透明了；但这种方式并不是所有的情况下都需要，首先，使用writeback以后，shelf在open()的时候会增加额外的内存消耗，并且当DB在close()的时候会将缓存中的每一个对象都写入到DB，这也会带来额外的等待时间。因为shelve没有办法知道缓存中哪些对象修改了，哪些对象没有修改，因此所有的对象都会被写入。