Python常用模块
time模块
意如其名，就是输出时间的模块，有三种输出的时间：
时间戳
格式化时间
结构化时间
三种时间之间可以相互转化，但是这种转化并不是很常用
在这个模块中 time.sleep()使用的最多，是控制休眠时间的
datetime模块
datetime模块可以看做是时间加减的模块
datetime.datetime.new() 获取当前时间
print(datetime.datetime.now() + datetime.timedelta(3)) 当前时间+3天(默认的是对天数的加减，也可以指定对年月小时分钟等进行加减)
c_time = datetime.datetime.now() print(c_time.replace(minute=20, hour=5, second=13)) 时间替换
random模块
random.random() 返回大于0小于1之间的小数
random.randint(1.3) 返回1-3之间的整数
random.randrange(1,3) 返回大于等于1小于3之间的整数
random.uniform(1,3) 返回1-3之间的小数
random.choice([1,3,2]) 返回列表中的随机一个元素
random.sample([1,23,45,67],2) 返回列表中1个任意2个元素的组合，返回的元素个数可以指定
lis = [1,23,5,6]
random.shuffle(lis) 打乱列表中的顺序
os模块
os模块负责程序与操作系统之间的交互，提供了访问操作系统底层的接口，多用于文件处理
| 方法 | 详解 |
|---|---|
| os.getcwd() | 获取当前工作目录，即当前python脚本工作的目录路径 |
| os.chdir("dirname") | 改变当前脚本工作目录；相当于shell下cd |
| os.curdir | 返回当前目录: ('.') |
| os.pardir | 获取当前目录的父目录字符串名：('..') |
| os.makedirs('dirname1/dirname2') | 可生成多层递归目录 |
| os.removedirs('dirname1') | 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推 |
| os.mkdir('dirname') | 生成单级目录；相当于shell中mkdir dirname |
| os.rmdir('dirname') | 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname |
| os.listdir('dirname') | 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印 |
| os.remove() | 删除一个文件 |
| os.rename("oldname","newname") | 重命名文件/目录 |
| os.stat('path/filename') | 获取文件/目录信息 |
| os.sep | 输出操作系统特定的路径分隔符，win下为"",Linux下为"/" |
| os.linesep | 输出当前平台使用的行终止符，win下为" ",Linux下为" " |
| os.pathsep | 输出用于分割文件路径的字符串 win下为;,Linux下为: |
| os.name | 输出字符串指示当前使用平台。win->'nt'; Linux->'posix' |
| os.system("bash command") | 运行shell命令，直接显示 |
| os.environ | 获取系统环境变量 |
| os.path.abspath(path) | 返回path规范化的绝对路径 |
| os.path.split(path) | 将path分割成目录和文件名二元组返回 |
| os.path.dirname(path) | 返回path的目录。其实就是os.path.split(path)的第一个元素 |
| os.path.basename(path) | 返回path最后的文件名。如何path以／或结尾，那么就会返回空值。即os.path.split(path)的第二个元素 |
| os.path.exists(path) | 如果path存在，返回True；如果path不存在，返回False |
| os.path.isabs(path) | 如果path是绝对路径，返回True |
| os.path.isfile(path) | 如果path是一个存在的文件，返回True。否则返回False |
| os.path.isdir(path) | 如果path是一个存在的目录，则返回True。否则返回False |
| os.path.join(path1[, path2[, ...]]) | 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略 |
| os.path.getatime(path) | 返回path所指向的文件或者目录的最后存取时间 |
| os.path.getmtime(path) | 返回path所指向的文件或者目录的最后修改时间 |
os.path.getsize(path) 返回path的大小
sys模块
sys模块负责程序与python解释器的交互，提供了一系列的函数和变量，用于操控python的运行时环境。
| 方法 | 详解 |
|---|---|
| sys.argv | 命令行参数List，第一个元素是程序本身路径 |
| sys.modules.keys() | 返回所有已经导入的模块列表 |
| sys.exc_info() | 获取当前正在处理的异常类,exc_type、exc_value、exc_traceback当前处理的异常详细信息 |
| sys.exit(n) | 退出程序，正常退出时exit(0) |
| sys.hexversion | 获取Python解释程序的版本值，16进制格式如：0x020403F0 |
| sys.version | 获取Python解释程序的版本信息 |
| sys.maxint | 最大的Int值 |
| sys.maxunicode | 最大的Unicode值 |
| sys.modules | 返回系统导入的模块字段，key是模块名，value是模块 |
| sys.path | 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值 |
| sys.platform | 返回操作系统平台名称 |
| sys.stdout | 标准输出 |
| sys.stdin | 标准输入 |
| sys.stderr | 错误输出 |
| sys.exc_clear() | 用来清除当前线程所出现的当前的或最近的错误信息 |
| sys.exec_prefix | 返回平台独立的python文件安装的位置 |
| sys.byteorder | 本地字节规则的指示器，big-endian平台的值是'big',little-endian平台的值是'little' |
| sys.copyright | 记录python版权相关的东西 |
| sys.api_version | 解释器的C的API版本 |
json和pickle模块
- 序列化（json序列化可以跨平台，pickle序列化并不可以，只能用于python，但是pickle可以存储所有的数据类型，对象，json是不可以的）
-
- 优点
- 持久保存状态
- 跨平台数据交互
- 反序列化
json序列化可以实现跨平台的目的
hashlib模块和hmac模块
两者都是一种算法
hash值的特点：
- 只要传入的内容一样，得到的hash值一样，可用于非明文密码传输时密码校验
- 不能由hash值返解成内容，即可以保证非明文密码的安全性
- 只要使用的hash算法不变，无论校验的内容有多大，得到的hash值长度是固定的，可以用于对文
- 本的哈希处理
#格式
m = hashlib.md5()
m.update('hello'.encode('utf8'))
print(m.hexdigest())
但是hashlib可以被反解，所以就用到了hmac模块
hmac会进行加盐处理
# 格式
h1 = hmac.new(b'hash')
h1.update(b'hello')
print(h1.hexdigest())
logging模块
也就是设置日志的
import os
import logging.config
# 定义三种日志输出格式 开始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
'[%(levelname)s][%(message)s]' # 其中name为getLogger()指定的名字；lineno为调用日志输出函数的语句所在的代码行
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# 定义日志输出格式 结束
logfile_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # log文件的目录，需要自定义文件路径 # atm
logfile_dir = os.path.join(logfile_dir, 'log') # C:UsersoldboyDesktopatmlog
logfile_name = 'log.log' # log文件名，需要自定义路径名
# 如果不存在定义的日志目录就创建一个
if not os.path.isdir(logfile_dir): # C:UsersoldboyDesktopatmlog
os.mkdir(logfile_dir)
# log文件的全路径
logfile_path = os.path.join(logfile_dir, logfile_name) # C:UsersoldboyDesktopatmloglog.log
# 定义日志路径 结束
# log配置字典
LOGGING_DIC = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'standard': {
'format': standard_format
},
'simple': {
'format': simple_format
},
},
'filters': {}, # filter可以不定义
'handlers': {
# 打印到终端的日志
'console': {
'level': 'DEBUG',
'class': 'logging.StreamHandler', # 打印到屏幕
'formatter': 'simple'
},
# 打印到文件的日志,收集info及以上的日志
'default': {
'level': 'INFO',
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件
'formatter': 'standard',
'filename': logfile_path, # 日志文件
'maxBytes': 1024 * 1024 * 5, # 日志大小 5M (*****)
'backupCount': 5,
'encoding': 'utf-8', # 日志文件的编码，再也不用担心中文log乱码了
},
},
'loggers': {
# logging.getLogger(__name__)拿到的logger配置。如果''设置为固定值logger1，则下次导入必须设置成logging.getLogger('logger1')
'': {
# 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
'handlers': ['default', 'console'],
'level': 'DEBUG',
'propagate': False, # 向上（更高level的logger）传递
},
},
}
def load_my_logging_cfg():
logging.config.dictConfig(LOGGING_DIC) # 导入上面定义的logging配置
logger = logging.getLogger(__name__) # 生成一个log实例
logger.info('It works!') # 记录该文件的运行状态
return logger
if __name__ == '__main__':
load_my_logging_cfg()
# 使用
logger = logging.getLogger(__name__) # 线上正常的日志
collect_logger = logging.getLogger("collect") # 领导说,需要为领导们单独定制领导们看的日志
logger.info("输入想输入的东西")
numpy模块
numpy库有两个作用：
- 区别于list列表，提供了数组操作、数组运算、以及统计分布和简单的数学模型
- 计算速度快，甚至要由于python内置的简单运算，使得其成为pandas、sklearn等模块的依赖包。高级的框架如TensorFlow、PyTorch等，其数组操作也和numpy非常相似。
| 属性 | 解释 |
|---|---|
| T | 数组的转置（对高维数组而言） |
| dtype | 数组元素的数据类型 |
| size | 数组元素的个数 |
| ndim | 数组的维数 |
| shape | 数组的维度大小（以元组形式） |
| astype | 类型转换 |
| 方法 | 详解 |
|---|---|
| array() | 将列表转换为数组，可选择显式指定dtype |
| arange() | range的numpy版，支持浮点数 |
| linspace() | 类似arange()，第三个参数为数组长度 |
| zeros() | 根据指定形状和dtype创建全0数组 |
| ones() | 根据指定形状和dtype创建全1数组 |
| eye() | 创建单位矩阵 |
| empty() | 创建一个元素全随机的数组 |
| reshape() | 重塑形状 |
pandas模块
pandas官方文档：https://pandas.pydata.org/pandas-docs/stable/?v=20190307135750
pandas是python数据分析的核心模块。它主要提供了五大功能:
- 支持文件存取操作，支持数据库(sql)、html、json、pickle、csv(txt、excel)、sas、stata、hdf等。
- 支持增删改查、切片、高阶函数、分组聚合等单表操作，以及和dict、list的互相转换。
- 支持多表拼接合并操作。
- 支持简单的绘图操作。
- 支持简单的统计分析操作。
matplotlib模块
matplotlib是一个绘图库，它可以创建常用的统计图，包括条形图、箱型图、折线图、散点图、饼图和直方图。
matplotlib官方文档：https://matplotlib.org/contents.html?v=20190307135750
条形图 bar
直方图 hist
直线图 plot
re模块
涉及到正则的使用
需要使用的时候可以百度
必须牢记 .*? 可以解决百分之九十的问题
re的基本使用
match，从头匹配一个符合规则的字符串，从起始位置开始匹配，匹配成功返回一个对象，未匹配成功返回None
格式：
- match(pattern, string, flags=0)
-
- pattern： 正则模型
-
- string ： 要匹配的字符串
-
- falgs ： 匹配模式
search,浏览全部字符串，匹配第一符合规则的字符串，浏览整个字符串去匹配第一个，未匹配成功返回None
格式：
- search(pattern, string, flags=0)
-
- pattern： 正则模型
-
- string ： 要匹配的字符串
-
- falgs ： 匹配模式
浏览全部字符串，匹配所有合规则的字符串，匹配到的字符串放到一个列表中，未匹配成功返回空列表
- findall(pattern, string, flags=0)
-
- pattern： 正则模型
-
- string ： 要匹配的字符串
-
- falgs ： 匹配模式
还有就是一些 re.split() re.sub() re.subn()
下表是所有的正则匹配模式：
| 修饰符 | 描述 |
|---|---|
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别（locale-aware）匹配 |
| re.M | 多行匹配，影响 ^ 和 $ |
| re.S | 使 . 匹配包括换行在内的所有字符 |
| re.U | 根据Unicode字符集解析字符。这个标志影响 w, W, , B. |
| re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
typing模块
- 类型检查，防止运行时出现参数和返回值类型不符合。
- 作为开发文档附加说明，方便使用者调用时传入和返回参数类型。
- 该模块加入后并不会影响程序的运行，不会报正式的错误，只有提醒。
- 注意：typing模块只有在python3.5以上的版本中才可以使用,pycharm目前支持typing检查
相当于辅助的模块，但是其中也有Python解释器没有的类型。
collections模块
namedtuple
有名元组，就是可以不同过索引取元组里值，可以给值赋上一个名字，通过名字调用
deque
就是可以从左插入，也可以从右插入
defaultdict
就是key不存在不像普通的字典一样报错，而是通过lambda匿名函数设置返回值，可以输出返回值
OrderedDict
有序的字典
Counter
Counter是一个简单的计数器，例如，统计字符出现的个数，简化了代码。