Python的序列化与反序列化

　　　　　　　　Python的序列化与反序列化

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

　　序列化和反序列化可以大致分为两类：文本序列化和二进制序列化。比如python提供的pickle库，他就是基于二进制方式的序列化。而json则是文本方式的序列化，需要遵守相应的文件格式。

　　由于pickle序列化和发序列化仅仅同版本的Python可以使用(pickle库的序列化在python2，python3也存在不兼容的问题)。因此我们还会学习MessagePack，它是一个基于二进制高效的对象序列化类库，可用于跨语言通信。

一.序列化概述

1>.为什么要序列化

　　内存中的字典，列表，集合以及各种对象，如何保存到一个文件中？

　　如果是自己定义的类的实例，如何保存到一个文件中？

　　如何从文件中读取数据，并让他在内存中再次恢复成自己对应的类的实例？

　　要设计一套协议，按照某种规则，把内存这种数据保存到文件中。文件是一个字节序列，所以必须把数据转换成字节序列，输出到文件。这就是序列化。

　　反之，从文件的字节序列恢复到内存并且还要原来的类型，就是反序列化。

2>. 序列化相关术语

serialization
　　将内存中对象存储下来，把它变成一个个字节。

deserialization
　　将文件的一个个字节恢复成内存中对象。

序列化保存到文件就是持久化。

可以将数据序列化后持久化，或者网络传输；也可以将从文件中或者网络接受到的字节序列反序列化。Python提供了pickle库，它是一种基于二进制方式的序列化。

3>.序列化应用

　　一般来说，本地序列化的情况，应用较少。大多数场景都应用在网络传输中。

　　将数据序列化后通过网络传输到远程节点，远程服务器上的服务将接收的数据反序列化后，就可以使用了。

　　但是，要注意一点，远程接收端，反序列化时必须有对应的数据类型，否则就会报错。尤其是自定义类，必须远程得有一致的定义。

　　现在，大多数项目，都不是单机的，也不是单服务的，需要多个程序之间配合。需要通过网络将数据传送到其它节点上去，这就需要大量的序列化，反序列化过程。

　　但是，问题是Python程序之间可以使用pickle解决序列化，反序列化，，如果是跨平台，跨语言，跨协议pickle就不太适合了，就需要公共的协议。例如XML，JSON，PROTOCOL BUFFER等。

　　不同的协议，效率不同，学习曲线不同，适用不同场景，要根据不同的情况分析选型。

二.pikcle模块

1>.方法说明

dumps：
　　对象序列化为bytes对象，一般用于处理网络传输的数据。

dump：
　　对象序列化到文件对象，比如存入本地文件。

loads：
　　从bytes对象反序列化，一般用于处理网络接受的数据。

load：
　　对象发序列化，从文件读取数据。

2>.序列化和反序列化基础数据类型

#！/usr/bin/env python
#_*_conding:utf-8_*_
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie

import pickle

file_name = r"E:	emp	estser.txt"

s1 = 99
s2 = 'c'
s3 = list("123")
s4 = {"a":1,"b":"abc","c":[1,2,3]}

#序列化
with open(file_name,"wb") as f:
    pickle.dump(s1,f)
    pickle.dump(s2,f)
    pickle.dump(s3,f)
    pickle.dump(s4,f)


#反序列化
with open(file_name,"rb") as f:
    print(f.read(),f.seek(0))
    for i in range(4):
        x = pickle.load(f)
        print(x,type(x))



#以上代码执行结果如下:
b'x80x03Kc.x80x03Xx01x00x00x00cqx00.x80x03]qx00(Xx01x00x00x001qx01Xx01x00x00x002qx02Xx01x00x00x003qx03e.x80x03}qx00(Xx01x00x00x00aqx01Kx01Xx01x00x00x00bqx02Xx03x00x00x00abcqx03Xx01x00x00x00cqx04]qx05(Kx01Kx02Kx03eu.' 0
99 <class 'int'>
c <class 'str'>
['1', '2', '3'] <class 'list'>
{'a': 1, 'b': 'abc', 'c': [1, 2, 3]} <class 'dict'>

3>.序列化和反序列化对象

#！/usr/bin/env python
#_*_conding:utf-8_*_
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie

import pickle

file_name = r"E:	emp	estser.txt"

#定义对象
class Person:
    def __init__(self,name,age=18):
        self.__name = name
        self.__age = age

    @property
    def name(self):
        return self.__name

    @name.setter
    def name(self,name):
        self.__name = name

    def getage(self):
        return self.__age

    def setage(self,age):
        self.__age = age

    age = property(fget=getage,fset=setage,doc="age property")

    def __repr__(self):
        return "{} 今年已经 {} 岁啦!".format(self.__name,self.__age)


p1 = Person("Yinzhengjie",20)

p1.age = 27

#序列化
ser = pickle.dumps(p1)
print("ser = {}".format(ser))

#反序列化
p2 = pickle.loads(ser)
print(type(p2))
print(p2)



#以上代码执行结果如下:
ser = b'x80x03c__main__
Person
qx00)x81qx01}qx02(X
x00x00x00_Person__nameqx03Xx0bx00x00x00Yinzhengjieqx04Xx0cx00x00x00_Person__ageqx05Kx1bub.'
<class '__main__.Person'>
Yinzhengjie 今年已经 27 岁啦!

三.json模块

1>.Json概述

　　JSON（JavaScript Object Notation,JS对象标记）是一种轻量级的数据交换格式。它基于ECMAScript（w3c组织制定的JS规范）的一个子集，采用完全独立与编程语言的文本格式来存储和表示数据。

　　一般来说，json编码的数据很少落地，数据都是通过网络传输，传输的时候，需考虑压缩它。本质上来说它就是个文本，就是个字符串。

　　json很简单，几乎所有编程都支持Json，所以应用范围十分广泛。

　　官方网址请参考：http://json.org/。

2>.Json数据类型

值：
　　双引号引起来的字符串，数值，true和false，null，对象，数组，这些都是值。
    
字符串：
　　由双引号包围起来的任意字符的组合，可以有转义字符。

数值：
　　有正负，有整数，浮点数。

对象：
　　无序的键值对的集合。
　　格式：{key1:value1,...keyn:valulen}
　　key必须是一个字符串，需要双引号包围这个字符串。
　　value可以是任意合法的值。

数组：
　　有序的值和集合。
　　格式：[val1,...valn]

案例如下：
{
　　"person":[
　　　　{
　　　　　　"name":"jason",
　　　　　　"age":18
　　　　}，
　　　　{
　　　　　　"name":"yinzhengjie"
　　　　　　"age":16
　　　　}
　　],
　　"total":2
}

3>.Python与Json

Python支持少量内建数据类型到Json类型的转换，大致如下：
　　Python类型　　　　　　　　　　Json类型
　　　　True　　　　　　　　　　　　true
　　　　False　　　　　　　　　　　 false
　　　　None　　　　　　　　　　　　null
　　　　str　　　　　　　　　　　　 string
　　　　int　　　　　　　　　　　　 integer
　　　　float　　　　　　　　　　　　float
　　　　list　　　　　　　　　　　　 array
　　　　dict　　　　　　　　　　　　 object

4>.json模块应用案例

#！/usr/bin/env python
#_*_conding:utf-8_*_
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie

import json

src = {'name':'Jason','age':20,'interest':('music','movie'),'class':['python']}


json_ser = json.dumps(src)              #进行json编码
print(json_ser,type(json_ser))          #注意引号，括号的变化，数据类型的变化。

dest = json.loads(json_ser)
print(dest)
print(id(src),id(dest))



#以上代码执行结果如下:
{"name": "Jason", "age": 20, "interest": ["music", "movie"], "class": ["python"]} <class 'str'>
{'name': 'Jason', 'age': 20, 'interest': ['music', 'movie'], 'class': ['python']}
2114747181640 2114747436952

三.MessagePack模块

1>.MessagePack概述

　　MessagePack是一个基于二进制高效的对象序列化类库，可用于跨语言通信。

　　它可以像JSON那样，在许多种语言之间交换结构对象。

　　但是它比JSON更快速也更轻巧。

　　支持Python，Ruby，Java，C/C++等众多语言。宣称比Google Protocol Buffers还要快4倍（这话建议大家听听就好，要以实际测试为准）。
　　
　　兼容json和pickle。

2>.MessagePack安装

messagePack官网地址：https://msgpack.org/

安装messagePack方式：
　　　　C:Usersyinzhengjie>pip install msgpack
　　　　Collecting msgpack
  　　　　Downloading https://files.pythonhosted.org/packages/41/0a/49b522c5b23006d60669ec8dc97558e91880673e170108e0e9e21fc452e3/msgpack-0.6.2-cp37-cp37m-win_amd64.whl (68kB)
　　　　    100% |████████████████████████████████| 71kB 112kB/s
　　　　Installing collected packages: msgpack
　　　　Successfully installed msgpack-0.6.2

　　　　C:Usersyinzhengjie>

3>. 常用方法

　　packb序列化对象。提供了dumps来兼容pickle和json。
　　unpackb反序列化对象。提供了loads来兼容。

　　pack序列化对象保存到文件对象。提供了dump来兼容。
　　unpack反序列化对象保存到文件对象。提供红了load来兼容。

　　上面的内容了解一下即可，咱们生产环境中还是只用dump(s)和load(s)方法来进行序列化和反序列化，没有必要记得太多，反而浪费脑细胞~嘿嘿嘿。

4>.对比pickle，json和messagePack的序列化字节大小

#！/usr/bin/env python
#_*_conding:utf-8_*_
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie

import pickle
import json
import msgpack


#导入模块，都是标识符
methods = (pickle,json,msgpack)

src = {'person':[
                    {'name':'Jason','age':18,'hobby':('movie','music','Mountain climbing')},
                    {'name':'YinZhengjie','age':20,'hobby':('Basketball','ping-pong','Blogging')}
                ],
        'total':2
       }

#进行序列化操作
for method in methods:
    s1 = method.dumps(src)
    if method == json:          #我们这里仅对json格式文件做一个简单的压缩处理，但生产环境建议不要这样用，因为这样写逻辑并不严谨。
        s1 = s1.replace(' ','')
    print(method.__name__,type(s1),len(s1),s1)


print("*" * 20 + "我是分割线" + "*" * 20)

#进行反序列话操作
# s2 = msgpack.loads(s1,encoding="utf8")        #这个方法不推荐使用，使用后会抛出"DeprecationWarning: encoding is deprecated, Use raw=False instead."的警告信息哟~
# print(type(s2),s2)
s3 = msgpack.loads(s1,raw=False)                #官方推荐使用"raw=False"的方式
print(type(s3),s3)




#以上代码执行结果如下:
pickle <class 'bytes'> 225 b'x80x03}qx00(Xx06x00x00x00personqx01]qx02(}qx03(Xx04x00x00x00nameqx04Xx05x00x00x00Jasonqx05Xx03x00x00x00ageqx06Kx12Xx05x00x00x00hobbyqx07Xx05x00x00x00movieqx08Xx05x00x00x00musicq	Xx11x00x00x00Mountain climbingq
x87qx0bu}qx0c(hx04Xx0bx00x00x00YinZhengjieq
hx06Kx14hx07X
x00x00x00Basketballqx0eX	x00x00x00ping-pongqx0fXx08x00x00x00Bloggingqx10x87qx11ueXx05x00x00x00totalqx12Kx02u.'
json <class 'str'> 171 {"person":[{"name":"Jason","age":18,"hobby":["movie","music","Mountainclimbing"]},{"name":"YinZhengjie","age":20,"hobby":["Basketball","ping-pong","Blogging"]}],"total":2}
msgpack <class 'bytes'> 130 b'x82xa6personx92x83xa4namexa5Jasonxa3agex12xa5hobbyx93xa5moviexa5musicxb1Mountain climbingx83xa4namexabYinZhengjiexa3agex14xa5hobbyx93xaaBasketballxa9ping-pongxa8Bloggingxa5totalx02'
********************我是分割线********************
<class 'dict'> {'person': [{'name': 'Jason', 'age': 18, 'hobby': ['movie', 'music', 'Mountain climbing']}, {'name': 'YinZhengjie', 'age': 20, 'hobby': ['Basketball', 'ping-pong', 'Blogging']}], 'total': 2}

5>.总结

　　MessagePack简单易用，高效压缩，支持语言丰富。所以，用它序列化也是一种很好的选择。Python很大大名鼎鼎的库都是用了msgpack。

　　上例中，之所以pickle比json序列化的结果还要大，原因主要是pickle要解决所有python数据类型的序列化，要记录各种数据类型包括自定义的类。而json只需要支持少数几种类型，所以就可以很简单，都不需要类型的描述字符。但大多数情况下，我们序列化的数据都是这些简单的类型。