一. hashlib模块
Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。
摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。
摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。摘要算法之所以能指出数据是否被篡改过，就是因为摘要函数是一个单向函数，计算f(data)很容易，但通过digest反推data却非常困难。而且，对原始数据做一个bit的修改，都会导致计算出的摘要完全不同。
对于同一个字符串,不管这个字符串有多长,只要是相同的,无论在任何环境下,多少次执行,在任何语言中使用相同的算法相同的手段得到的结果永远是相同的, 只要不是相同的字符串,得到的结果一定不同.
1. MD5算法
md5是一个算法,32位的字符串,每个字符都是一个十六进制, md5算法特点: 效率快 算法相对简单
import hashlib s = 'hello,world!' md5_obj = hashlib.md5() md5_obj.update(s.encode('utf-8')) res = md5_obj.hexdigest() print(res, type(res), len(res)) # c0e84e870874dd37ed0d164c7986f03a <class 'str'> 32
虽然md5的值不会被反推, 但是有很多人通过撞库的方法来获取原字符串.
撞库: 用户密码通过计算出的md5的值呗存再数据库, 但是有一批人通过试验许多密码,计算出这些密码的md5值, 再去获取别人的数据库(密码)拿来对比md5值,若是相同则可以得出密码是多少.这样密码就不安全了.所以可以通过加盐的方法来解决这种问题.
username = 'jack' password = '123jack' md5_obj = hashlib.md5(username.encode('utf-8')) # 把用户名当作盐加进去 md5_obj.update(password.encode('utf-8')) res = md5_obj.hexdigest() print(res) # b94b1a2cd520ddc887df5c946e246eac
md5除了可以保护用户密码外, 还可以校检文件的一致性
with open('123', 'rb')as f1: # rb模式 md5_obj1 = hashlib.md5() md5_obj1.update(f1.read()) res1 = md5_obj1.hexdigest() with open('321', 'rb') as f2: # 我把文件321内容设置的与文件123一样 md5_obj2 = hashlib.md5() md5_obj2.update(f2.read()) res2 = md5_obj2.hexdigest() print(res1) # 537c68a40a4736c27358ae78616c9fa7 print(res2) # 537c68a40a4736c27358ae78616c9fa7
二. configparse模块
该模块适用于配置文件的格式与windows ini文件类似，可以包含一个或多个节（section），每个节可以有多个参数（键=值）。
import configparser config = configparser.ConfigParser() # print(config.sections()) # [] config.read('example.ini') # print(config.sections()) # ['bitbucket.org', 'topsecret.server.com'] # print('bytebong.com' in config) # False # print('bitbucket.org' in config) # True # print(config['bitbucket.org']["user"]) # hg # print(config['DEFAULT']['Compression']) #yes # print(config['topsecret.server.com']['ForwardX11']) #no # print(config['bitbucket.org']) #<Section: bitbucket.org> # for key in config['bitbucket.org']: # 注意,有default会默认default的键 # print(key) # print(config.options('bitbucket.org')) # 同for循环,找到'bitbucket.org'下所有键 # print(config.items('bitbucket.org')) #找到'bitbucket.org'下所有键值对 # print(config.get('bitbucket.org','compression')) # yes get方法Section下的key对应的value
三. logging模块
# 功能 # 1. 日志格式的规范 # 2. 操作的简化 # 3. 日志的分级管理 # logging不能帮你做的事情 # 自动生成你要打印的内容 # 需要程序员自己在开发的时候定义好 : # 在哪些地方需要打印,要打印的内容是什么,内容的级别 # logging模块的使用 : # 普通配置型 简单的 可定制化差 # 对象配置型 复杂的 可定制化强 # 认识日志分级 # import logging # logging.debug('debug message') # 调试模式 # logging.info('info message') # 基础信息 # logging.warning('warning message') # 警告 # logging.error('error message') # 错误 # logging.critical('critical message')# 严重错误
日志信息在屏幕上显示
import logging logging.basicConfig(level=logging.DEBUG) # 若是没有设置 level=logging.DEBUG 参数, debug(调试信息)和info(基础信息)不会被打印显示 logging.debug('debug message') # 调试模式 logging.info('info message') # 基础信息 logging.warning('warning message') # 警告 logging.error('error message') # 错误 logging.critical('critical message')# 严重错误 # DEBUG:root:debug message # INFO:root:info message # WARNING:root:warning message # ERROR:root:error message # CRITICAL:root:critical message
日志还能写在文件里, 但是不能同时显示在屏幕上
# 把日志显示在文件里, 日志格式 import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename='test.log') # filename参数是文件的名字 logging.debug('debug message') # 调试模式 logging.info('info message') # 基础信息 logging.warning('warning message') # 警告 logging.error('error message') # 错误 logging.critical('critical message')# 严重错误
日志配置参数:
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有： filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。 filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。 format：指定handler使用的日志显示格式。 datefmt：指定日期时间格式。 level：设置rootlogger（后边会讲解具体概念）的日志级别 stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。 format参数中可能用到的格式化串： %(name)s Logger的名字 %(levelno)s 数字形式的日志级别 %(levelname)s 文本形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有 %(filename)s 调用日志输出函数的模块的文件名 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数 %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有 %(message)s用户输出的消息
logging对象操作日志文件步骤
# logger对象的形式来操作日志文件 # 创建一个logger对象 # 创建一个文件管理操作符 # 创建一个屏幕管理操作符 # 创建一个日志输出的格式 # 文件管理操作符 绑定一个 格式 # 屏幕管理操作符 绑定一个 格式 # logger对象 绑定 文件管理操作符 # logger对象 绑定 屏幕管理操作符
import logging # 创建一个logger对象 logger = logging.getLogger() # 创建一个文件管理操作符 fh = logging.FileHandler('logger.log',encoding='utf-8') # 创建一个屏幕管理操作符 sh = logging.StreamHandler() # 创建一个日志输出的格式 format1 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') # 文件管理操作符 绑定一个 格式 fh.setFormatter(format1) # 屏幕管理操作符 绑定一个 格式 sh.setFormatter(format1) logger.setLevel(logging.DEBUG) # logger对象 绑定 文件管理操作符 # logger.addHandler(fh) # logger对象 绑定 屏幕管理操作符 logger.addHandler(sh) logger.debug('debug message') # 调试模式 logger.info('我的信息') # 基础信息 logger.warning('warning message') # 警告 logger.error('error message') # 错误 logger.critical('critical message')# 严重错误 # 2018-08-10 19:35:36,980 - root - DEBUG - debug message # 2018-08-10 19:35:36,980 - root - INFO - 我的信息 # 2018-08-10 19:35:36,980 - root - WARNING - warning message # 2018-08-10 19:35:36,980 - root - ERROR - error message # 2018-08-10 19:35:36,980 - root - CRITICAL - critical message
四. collections模块
collections模块是一个数据扩展模块.
使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：
# 队列: 先进先出 # import queue # q = queue.Queue() # print(q.qsize()) # q.put(1) # q.put('a') # q.put((1,2,3)) # q.put(({'k':'v'})) # print(q.qsize()) # print('q : ',q) # print('get : ',q.get()) # print(q.qsize()) # deque 双端队列 两端都可插入和出来 # from collections import deque # dq = deque() # dq.append(2) # dq.append(5) # dq.appendleft('a') # dq.appendleft('b') # print(dq) # # print(dq.pop()) # # print(dq) # # print(dq.popleft()) # # print(dq) # print(dq.remove('a')) # print(dq.insert(2,'123')) # print(dq) # 总结 # 在insert remove的时候 deque的平均效率要高于列表 # 列表根据索引查看某个值的效率要高于deque # append 和pop对于列表的效率是没有影响