python常用模块

　　python常用模块


  一 collection

　　python 常用 数据类型 :整型 浮点型 字符串 列表 字典 集合 元组 布尔值

　　具名元祖  namedtuple

　　from collections import namedtuple

　　point=namedtuple('坐标' ,  ['x','y','z'] ) 或者 point =namedtuple (' x' 'y' 'z')

　　注意的是元素个数必须跟namedtuple 第二个参数的值数量一致
    print(p,p.x ,p.y ,p.z)

用具名元组来记录一个城市的信息

>>> from collections import namedtuple
>>> City = namedtuple('City', 'name country population coordinates')  # 第一个是类名，第二个是类的各个字段的名字。后者可以是由数个字符串组成的可迭代对象，或者是由空格分隔开的字段名组成的字符串

>>> tokyo = City('Tokyo', 'JP', 36.933, (35.689722, 139.691667)) 
>>> tokyo
City(name='Tokyo', country='JP', population=36.933, coordinates=(35.689722, 139.691667))
>>> tokyo.population 
36.933
>>> tokyo.coordinates
(35.689722, 139.691667)
>>> tokyo[1]
'JP'

 队列 先进先出 (FIFO first in first out )
    
import queue
q= queue.Queue
q.put('first')
q.put('second')
q.get()
q.get()


双端队列
deque
from collections import  deque:
dq=queue(['a','b','c'])
apend apendleft
pop popleft
dq.insert(1,'插入值') 双端队列的特殊点在于可以任意位置插入值

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

有序字典
OrderedDict
from  collections import  OrderedDict
od=OrderedDict([(1,1),(2,2),(3,3)])
OrderedDict的key会按照插入的顺序排序 而不是元素的本身的排序

如果要保持Key的顺序，可以用OrderedDict：

>>> from collections import OrderedDict
>>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>>> d # dict的Key是无序的
{'a': 1, 'c': 3, 'b': 2}
>>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
>>> od # OrderedDict的Key是有序的
OrderedDict([('a', 1), ('b', 2), ('c', 3)])

注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

>>> od = OrderedDict()
>>> od['z'] = 1
>>> od['y'] = 2
>>> od['x'] = 3
>>> od.keys() # 按照插入的Key的顺序返回
['z', 'y', 'x']

默认值字典
defauldict
使用原生dict时 如果引用的key不存在 就会抛出keyERRoR 错误 如果希望key不存在是 返回一个默认值 就可以用defaultdict
from  collections import  defaultdict
dd=defaultdict(lambda  : 'n/a')
dd['k1']='abc'
    dd['k1']  返回abc

    dd['k2']  返回'n/a'





计数器
Counter
追踪容器中值出现的个数 ,是一个无序容器 类型,以字典的键值对 的方式储存 ,其中 元素作为key 技术作为value
技术值可以包括0和负数 类似于bags multisets
import collections
c=collections.Counter('sssasaaad')
print(c)
Counter({'s': 4, 'a': 4, 'd': 1})


二丶 time模块:
主要内容
时间戳
线程推迟 time.sleep(secs)
格式化时间
结构化时间

import time
    time.time()
    time.strftime('%Y-%m*%d %H:%M:%S') 年月日 时分秒

元组(struct_time) ：struct_time元组共有9个元素共九个元素:(年，月，日，时，分，秒，一年中第几周，一年中第几天等）

索引（Index）	属性（Attribute）	值（Values）
0	tm_year（年）	比如2011
1	tm_mon（月）	1 - 12
2	tm_mday（日）	1 - 31
3	tm_hour（时）	0 - 23
4	tm_min（分）	0 - 59
5	tm_sec（秒）	0 - 60
6	tm_wday（weekday）	0 - 6（0表示周一）
7	tm_yday（一年中的第几天）	1 - 366
8	tm_isdst（是否是夏令时）	默认为0

    格式多变 链接符号任意

    time.localtime() 当地时间

    datatime.datatime.today()

#时间元组:localtime将一个时间戳转换为当前时区的struct_time
time.localtime()
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24,
　　　　　　　　　　tm_hour=13, tm_min=59, tm_sec=37, 
                 tm_wday=0, tm_yday=205, tm_isdst=0)

小结：时间戳是计算机能够识别的时间；时间字符串是人能够看懂的时间；元组则是用来操作时间的

几种格式之间的转换

#时间戳-->结构化时间
#time.gmtime(时间戳)    #UTC时间，与英国伦敦当地时间一致
#time.localtime(时间戳) #当地时间。例如我们现在在北京执行这个方法：与UTC时间相差8小时，UTC时间+8小时 = 北京时间 
>>>time.gmtime(1500000000)
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=2, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)
>>>time.localtime(1500000000)
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=10, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)

#结构化时间-->时间戳　
#time.mktime(结构化时间)
>>>time_tuple = time.localtime(1500000000)
>>>time.mktime(time_tuple)
1500000000.0

#结构化时间-->字符串时间
#time.strftime("格式定义","结构化时间")  结构化时间参数若不传，则显示当前时间
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 14:55:36'
>>>time.strftime("%Y-%m-%d",time.localtime(1500000000))
'2017-07-14'

#字符串时间-->结构化时间
#time.strptime(时间字符串,字符串对应格式)
>>>time.strptime("2017-03-16","%Y-%m-%d")
time.struct_time(tm_year=2017, tm_mon=3, tm_mday=16, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=75, tm_isdst=-1)
>>>time.strptime("07/24/2017","%m/%d/%Y")
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=0, tm_yday=205, tm_isdst=-1)

#结构化时间 --> %a %b %d %H:%M:%S %Y串
#time.asctime(结构化时间) 如果不传参数，直接返回当前时间的格式化串
>>>time.asctime(time.localtime(1500000000))
'Fri Jul 14 10:40:00 2017'
>>>time.asctime()
'Mon Jul 24 15:18:33 2017'

#时间戳 --> %a %b %d %H:%M:%S %Y串
#time.ctime(时间戳)  如果不传参数，直接返回当前时间的格式化串
>>>time.ctime()
'Mon Jul 24 15:19:07 2017'
>>>time.ctime(1500000000)
'Fri Jul 14 10:40:00 2017' 

import time
true_time=time.mktime(time.strptime('2017-09-11 08:30:00','%Y-%m-%d %H:%M:%S'))
time_now=time.mktime(time.strptime('2017-09-12 11:00:00','%Y-%m-%d %H:%M:%S'))
dif_time=time_now-true_time
struct_time=time.gmtime(dif_time)
print('过去了%d年%d月%d天%d小时%d分钟%d秒'%(struct_time.tm_year-1970,struct_time.tm_mon-1,
                                       struct_time.tm_mday-1,struct_time.tm_hour,
                                       struct_time.tm_min,struct_time.tm_sec))

 datetime模块

import datetime

# 自定义日期
res = datetime.date(2019, 7, 15)
print(res)  # 2019-07-15

# 获取本地时间
# 年月日
now_date = datetime.date.today()
print(now_date)  # 2019-07-01
# 年月日时分秒
now_time = datetime.datetime.today()
print(now_time)  # 2019-07-01 17:46:08.214170

# 无论是年月日，还是年月日时分秒对象都可以调用以下方法获取针对性的数据
# 以datetime对象举例
print(now_time.year)  # 获取年份2019
print(now_time.month)  # 获取月份7
print(now_time.day)  # 获取日1
print(now_time.weekday())  # 获取星期(weekday星期是0-6) 0表示周一
print(now_time.isoweekday())  # 获取星期(weekday星期是1-7) 1表示周一

# timedelta对象
# 可以对时间进行运算操作
import datetime

# 获得本地日期 年月日
tday = datetime.date.today()
# 定义操作时间 day=7 也就是可以对另一个时间对象加7天或者减少7点
tdelta = datetime.timedelta(days=7)

# 打印今天的日期
print('今天的日期:{}'.format(tday))  # 2019-07-01
# 打印七天后的日期
print('从今天向后推7天:{}'.format(tday + tdelta))  # 2019-07-08
# 总结:日期对象与timedelta之间的关系
"""
日期对象 = 日期对象 +/- timedelta对象
timedelta对象 = 日期对象 +/- 日期对象

验证:

"""
# 定义日期对象
now_date1 = datetime.date.today()
# 定义timedelta对象
lta = datetime.timedelta(days=6)
now_date2 = now_date1 + lta  # 日期对象 = 日期对象 +/- timedelta对象
print(type(now_date2))  # <class 'datetime.date'>
lta2 = now_date1 - now_date2  # timedelta对象 = 日期对象 +/- 日期对象
print(type(lta2))  # <class 'datetime.timedelta'>


# 小练习 计算举例今年过生日还有多少天
birthday = datetime.date(2019, 12, 21)
now_date = datetime.date.today()
days = birthday - now_date
print('生日：{}'.format(birthday))
print('今天的日期：{}'.format(tday))
print('距离生日还有{}天'.format(days))


# 总结年月日时分秒及时区问题
import datetime

dt_today = datetime.datetime.today()
dt_now = datetime.datetime.now()
dt_utcnow = datetime.datetime.utcnow()  # UTC时间与我们的北京时间cha ju

print(dt_today)
print(dt_now)
print(dt_utcnow

三 丶随机数模块

random
import random
random.random (0-1的小数)

random.randint(1,6) 随机1-6的整数

random.randrange(1,10,2)1-10之间的奇数

random.choice () 随机返回一个
random.sample([1,2,3,['as'],2]) 随机返回包含任意元素2个的列表
random.shuffle 打乱次序



五 丶os模块
与操作系统交互的模块
import os
BASE_DIR=os.path.dirname(__file__)
DATA_DIR=os.path.join(BASE_DIR,'data数据')
DATA_list=os.listdir(DATA_DIR)
os.remove()
os.rename()
os.replace()
os.getcwd() 切换当前目录
os.path.getsize() 获取文件大小
os.rmdir() 删除空文件夹
os.path.isfile() 是否是文件
os.path.exists( ) 是否 存在

六丶 sys 模块
与python解释器交互的模块
import sys
sys.argv 用来在命令行启动文件是 校验 使用者身份
[ (路径) , (用户名)  ,(密码)  ] 自己设定的 字典键值对
        

七丶 序列化模块

简单的来说 序列化 就是 将其他的数据类型转换成 字符串的的过程
原因在于 不论是硬盘写入 还是网络传输 都只能传输2进制的格式的数据 ,
而且 我们编程的时候 只有字符串可以编译为二进制 ,所以要对数据进行字符串处理

反序列化 字符串转成其他数据类型
jason模块 通用数据类型之一 字符串 列表 字典 整型 元组(转成列表)  布尔值只能支持这几种
import json
json.dumps()loads( )     与dump 与load比起来 dump需要输入文件句柄参数
dumps loads 可以直接操作常用数据类型
load不能够多次对一个文件反序列化

pickle模块 python自己支持的所有数据类型 不能跨平台
通用4个方法 用pickle时 必须是使用B模式 既只能是二进制
load反序列化 dump序列化        loads反序列化 dumps 序列化 

    time.localtime() 当地时间
    datatime.datatime.today()

三 丶随机数模块

random
import random
random.random (0-1的小数)

random.randint(1,6) 随机1-6的整数

random.randrange(1,10,2)1-10之间的奇数

random.choice () 随机返回一个
random.sample([1,2,3,['as'],2]) 随机返回包含任意元素2个的列表
random.shuffle 打乱次序



五 丶os模块
与操作系统交互的模块
import os
BASE_DIR=os.path.dirname(__file__)
DATA_DIR=os.path.join(BASE_DIR,'data数据')
DATA_list=os.listdir(DATA_DIR)
os.remove()
os.rename()
os.replace()
os.getcwd() 切换当前目录
os.path.getsize() 获取文件大小
os.rmdir() 删除空文件夹
os.path.isfile() 是否是文件
os.path.exists( ) 是否 存在

 os模块是与操作系统交互的一个接口

os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.rename("oldname","newname")  重命名文件/目录
os.stat('path/filename')  获取文件/目录信息

os.system("bash command")  运行shell命令，直接显示
os.popen("bash command).read()  运行shell命令，获取执行结果
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd

os.path

os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回 
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素 
os.path.basename(path) 返回path最后的文件名。如何path以／或结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后访问时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path) 返回path的大小

六丶 sys 模块
与python解释器交互的模块
import sys
sys.argv 用来在命令行启动文件是 校验 使用者身份

[ (路径) , (用户名)  ,(密码)  ] 自己设定的 字典键值对

sys.argv           命令行参数List，第一个元素是程序本身路径
sys.exit(n)        退出程序，正常退出时exit(0),错误退出sys.exit(1)
sys.version        获取Python解释程序的版本信息
sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform       返回操作系统平台名称

        

七丶 序列化模块

持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。

序列化使其他代码可以查看或修改，那些不序列化便无法访问的对象实例数据。确切地说，代码执行序列化需要特殊的权限：

即指定了 SerializationFormatter 标志的 SecurityPermission。在默认策略下，通过 Internet 下载的代码或 Internet 代码不会授予该权限；只有本地计算机上的代码才被授予该权限。

通常，对象实例的所有字段都会被序列化，这意味着数据会被表示为实例的序列化数据。这样，能够解释该格式的代码有可能能够确定这些数据的值，而不依赖于该成员的可访问性。

类似地，反序列化从序列化的表示形式中提取数据，并直接设置对象状态，这也与可访问性规则无关。

对于任何可能包含重要的安全性数据的对象，如果可能，应该使该对象不可序列化。如果它必须为可序列化的，请尝试生成特定字段来保存不可序列化的重要数据。

如果无法实现这一点，则应注意该数据会被公开给任何拥有序列化权限的代码，并确保不让任何恶意代码获得该权限。

 

 

简单的来说 序列化 就是 将其他的数据类型转换成 字符串的的过程
原因在于 不论是硬盘写入 还是网络传输 都只能传输2进制的格式的数据 ,
而且 我们编程的时候 只有字符串可以编译为二进制 ,所以要对数据进行字符串处理

1、以某种存储形式使自定义对象持久化；

2、将对象从一个地方传递到另一个地方。

3、使程序更具维护性

 

反序列化 字符串转成其他数据类型
jason模块 通用数据类型之一 字符串 列表 字典 整型 元组(转成列表)  布尔值只能支持这几种
import json
json.dumps()loads( )     与dump 与load比起来 dump需要输入文件句柄参数
dumps loads 可以直接操作常用数据类型
load不能够多次对一个文件反序列化

pickle模块 python自己支持的所有数据类型 不能跨平台
通用4个方法 用pickle时 必须是使用B模式 既只能是二进制
load反序列化 dump序列化        loads反序列化 dumps 序列化