2018年4月26日笔记

• 内置模块：hashlib

Python的hashlib提供了常见的摘要算法，如md5，sha1, sha224, sha256, sha384, sha512等等，其中md5最为常用。

什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。md5算法得到的就是一个32位的16进制字符串。

一般用法如下：(python3环境中)

import hashlib

# python3
m1 = hashlib.md5()
m2 = hashlib.md5()
s1 = "abc123"
s2 = bytes(s1.encode("utf8"))       # 将s1从string类型转为bytes类型
print(s2)
print(type(s2))

m1.update(s1.encode("utf8"))
print(m1.hexdigest())
m2.update(s2)                       # 分别对s1和s2进行md5算法，得到的结果相同
print(m2.hexdigest())

b'abc123'
<class 'bytes'>
e99a18c428cb38d5f260853678922e03
e99a18c428cb38d5f260853678922e03

python2与python3的区别在于：python2无需指定编码方式

import hashlib

# python3
print(hashlib.md5("a12".encode("utf8")).hexdigest())

# python2
print(hashlib.md5("a12").hexdigest())           # python2不同于python3，无需指定编码方式

注意：如果同一个hash对象重复调用该方法，则m.update(a); m.update(b) 等效于 m.update(a+b)

例如：对字符串"a12"进行md5算法，有以下3种写法，得到的结果是一样的

import hashlib

# 方法一
m3 = hashlib.md5()
m3.update("a12".encode("utf-8"))
print(m3.hexdigest())

# 方法二
print(hashlib.md5("a12".encode("utf8")).hexdigest())

# 方法三
m3 = hashlib.md5(b"a")              # 字符串前加b表示为二进制字符串，无需再指定编码方式
m3.update("12".encode("utf8"))
print(m3.hexdigest())

# 备注：字符串前加u，表示字符串以Unicode格式进行编码，即unicode字符串
# 备注：字符串前加b，表示为二进制字符串
# 备注：字符串前加r，声明该字符串为普通字符串，即不含转义字符 
 
 之类的

ed20a959d410ccd843d9e1dfcee04228
ed20a959d410ccd843d9e1dfcee04228
ed20a959d410ccd843d9e1dfcee04228

• 内置模块：StringIO ,  BytesIO

StringIO模块：主要用于在内存中读写字符串数据(string)

BytesIO模块：实现了在内存中读写二进制数据(bytes)

StringIO经常被用来作为字符串的缓存，应为StringIO有个好处，他的有些接口和文件操作是一致的，也就是说用同样的代码，可以同时当成文件操作或者StringIO操作。

StringIO类中常用的方法有如下这些：

1. read
2. readline
3. readlines
4. write
5. writeline
6. getvalue
7. truncate
8. tell
9. seek
10. close
11. isatty
12. flush

----------------------

s.read([n])

参数n限定读取长度，int类型；缺省状态为从当前读写位置读取对象s中存储的所有数据。读取结束后，读写位置被移动。

----------------------

s.readline([length])

参数length限定读取的结束位置，int类型，缺省状态为None：从当前读写位置读取至下一个以“ ”为结束符的当前行。读写位置被移动。

----------------------

s.readlines([sizehint])

参数sizehint为int类型，缺省状态为读取所有行并作为列表返回，除此之外从当前读写位置读取至下一个以“ ”为结束符的当前行。读写位置被移动。

----------------------

s.write(s)

从读写位置将参数s写入给对象s。参数s为str或unicode类型。读写位置被移动。

----------------------

s.writelines(list)

从读写位置将list写入给对象s。参数list为一个列表，列表的成员为str或unicode类型。读写位置被移动。

----------------------

s.getvalue()

此函数没有参数，返回对象s中的所有数据。

----------------------

s.truncate([size])

从读写位置起切断数据，参数size限定裁剪长度，缺省值为None。

----------------------

s.tell()

返回当前读写位置。

----------------------

s.seek(pos[,mode])

移动当前读写位置至pos处，可选参数mode为0时将读写位置移动至pos处，为1时将读写位置从当前位置起向后移动pos个长度，为2时将读写位置置于末尾处再向后移动pos个长度；默认为0。

----------------------

s.close()

释放缓冲区，执行此函数后，数据将被释放，也不可再进行操作。

----------------------

s.isatty()

此函数总是返回0。不论StringIO对象是否已被close()。

----------------------

s.flush()

刷新内部缓冲区。

----------------------

from io import StringIO, BytesIO

s = StringIO()
s.write("Hello")
s.write("
")
s.write(r"
")
s.write("
world")
print(s.getvalue())         # 获取内存中的数据
print(len(s.getvalue()))

s.truncate(10)         # 获取内存中的数据，0表示清空
print("截取上文前10个字符为：
{0}".format(s.getvalue()))

Hello


world
14
截取上文前10个字符为：
Hello


w

Python3 中，内存读写字符串数据用StringIO，内存读写二进制数据用BytesIO，bytes和str转换用encode和decode

from io import StringIO, BytesIO

a = "中文"
b = a.encode("utf8")
print("{0}
原始内容的类型为：{1}".format(a, type(a)))
print("
{0}
编码后内容的类型为：{1}".format(b, type(b)))

c = b.decode("utf8")
print("
{0}
解码后内显示为原始内容，其类型为：{1}".format(c, type(c)))

中文
原始内容的类型为：<class 'str'>

b'xe4xb8xadxe6x96x87'
编码后内容的类型为：<class 'bytes'>

中文
解码后内显示为原始内容，其类型为：<class 'str'>

• 内置模块：json

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式

json最广泛的应用是作为AJAX中web服务器和客户端通讯的数据格式，也常用语http请求中，so it's very import to learn JSON

json模块有  dumps、loads、dump、load四种方法，带s是处理字符串的，不带s是处理文件的

loads　:　str -> PythonObject

dumps　:　PythonObject -> str

load　:　file -> PythonObject

dump　:　PythonObject -> file

Python对象 与 JSON对象 的对应关系：

    +-------------------+---------------+
    | Python            | JSON          |
    +===================+===============+
    | dict              | object        |
    +-------------------+---------------+
    | list, tuple       | array         |
    +-------------------+---------------+
    | str               | string        |
    +-------------------+---------------+
    | int, float        | number        |
    +-------------------+---------------+
    | True              | true          |
    +-------------------+---------------+
    | False             | false         |
    +-------------------+---------------+
    | None              | null          |
    +-------------------+---------------+

loads()和dumps()用法示例：

import json

obj = dict({"a":1, "b":2})

t1 = '[{"a":1, "aa":11}, {"b":2}, {"ccc":333}]' # json串内部一般用建议用 "双引号"，也能用 '单引号'
t2 = '''{"aa":11, "b":2}'''                     # json串外部不能用 "双引号"

t11 = json.loads(t1)            # 将其转为list
print(t11)
print(type(t11))

t22 = json.loads(t2)            # 将其转为dict
print(t22)
print(type(t22))
print("
")

print("*"*20)
print("使用dumps() 转为 str")
x = json.dumps(t22)
print(type(x))
print("再用loads() 转回原对象obj")
print(type(json.loads(x)))

# dumps()和str()都将能obj转为str，但dumps()可逆

print("*"*20)
print("使用str() 强制转化为 str")
y = str(t22)
print(type(y))
print("无法使用dict() 强制转回原对象obj")
# print(dict(y))

[{'a': 1, 'aa': 11}, {'b': 2}, {'ccc': 333}]
<class 'list'>
{'aa': 11, 'b': 2}
<class 'dict'>


********************
使用dumps() 转为 str
<class 'str'>
再用loads() 转回原对象obj
<class 'dict'>
********************
使用str() 强制转化为 str
<class 'str'>
无法使用dict() 强制转回原对象obj

load()和dump()用法示例：

import json
import codecs

test = {"a": 1, "b": 2}
with codecs.open("1.txt", "w") as f:
    json.dump(test, f)
with codecs.open("1.txt", "r") as f:
    obj = json.load(f)
    print(obj)
    print(type(obj))

{'a': 1, 'b': 2}
<class 'dict'>