python 常用标准库

标准库和第三方库第一手资料：

在线： 官方文档（https://docs.python.org/）

离线：交互式解释器（dir()、help()函数），IPython（tab键提示、?、??）

一、             日期和时间（https://docs.python.org/3/library/datetime.html）

  datetime模块

  date类-实例属性：

  year

  month

  day

  time类-实例属性：

  hour

  minute

  second

  microsecond

  datetime类

  date()实例方法->date对象

  time()实例方法->time对象

  now()类方法->datetime对象

  strftime(str_format)实例方法->(datetime->str)

  Y：4位年份

  y：后2位年份

  m：月份

  d：日（月内第几天）

  H：小时（24小时制）

  I：小时（12小时制）

  M：分钟

  S：秒

  f：微秒

 

  strptime(dt_str, str_format)类方法->(str->datetime)

  timedelta类(时间差，两个datetime对象 相减 得到 timedelta对象)

  days属性

  seconds属性

  microseconds属性

  total_seconds()方法

from datetime import  datetime, timedelta

 

dt_begin = datetime.now()

for i in range(10 ** 8):

    temp = 3.2 / 2.3

dt_end = datetime.now()

dt_diff = dt_end - dt_begin

print('花费 {0.seconds} 秒, {0.microseconds} 毫秒'.format(dt_diff))

 

  time()：时间戳（1970.01.01 00:00:00到现在经过的秒）

  sleep(seconds)：延时

  calendar

  setfirstweekday(weekday)，设置每周的起始日期码。0（星期一）到6（星期日）。

  calendar(year,w=2,l=1,c=6)：返回一个多行字符串格式的year年年历。

  3个月一行，间隔距离为c。

  每日宽度间隔为w字符。

  每行长度为21* W+18+2* C。

  l是每星期行数。

  isleap(year)：判断闰年

  weekday(year, month, day) ：返回给定日期的星期日期码

  monthrange(year, month)：返回给定月份的日期范围（元组：(第一天的星期日期码，月天数））

        

二、             数据格式

  JSON：JavaScript对象表示法。（json在Python中叫做dict，在JS中叫做json）。

  Json字符串（str_obj）：所有的字符串只能用双引号（"）不能用单引号（'）。

  Json字符串必须要有内容（len(str_obj) > 0），不能是空字符串（''）

  json

  load(fp):文件对象->python内置对象

  loads(str_obj):str->python内置对象（js：JSON.parse(str_obj)）

  object_pairs_hook,，控制数据如何转换，是一个继承自字典dict的类

  dump(obj, fp):python内置对象->文件对象

  dumps(obj):python内置对象->str（js: JSON.stringify(obj, null, 4)）

  ensure_ascii: （默认值：True，会将CJK字符转成Unicode嘛，以符合ASCII规范）。设置为False，可保证原样输出。

  indent：（默认值：None，将会没有缩进和多余的空白输出，全部挤到一行。）。调试中，一般设置为4，和Python中风格一致。正式环境（比如web后端输出），不需要缩进。

  csv

  writer(wfp) (写入器) wfp: 可写的文件对象(open: newline)

  writerow(list_obj)

  writerows(2d_list_obj)

  reader(rfp) (读取器) rfp: 可读的文件对象

 

  pickle

  dump(obj, wfp):（obj -> wfp），无返回值

  dumps(obj):（obj -> bytes），返回值bytes类型

  load(rfp):（rfp -> obj），返回值为obj，打开的必须是Python的pickle生成的文件。

  loads(bytes_obj):（bytes -> obj），返回值为obj，加载的必须是Python的pickle的字节串，可以是dumps()方法生成的，也可以是从dump()方法生成的文件中以二进制方式读取的。

说明：

obj为Python内置类型（list、dict、str等）对象

wfp为可写的文件对象

rfp为可读的文件对象

bytes为二进制字符串（字节串）

三、             系统调用

  os

  getenv()：获取环境变量

  putenv()：设置环境变量

  environ 从系统启动时开始加载的环境变量（数据共享），dict兼容类型，可修改。

  注意： os._Environ中有一个字典，字典中存储了环境变量，在Python进程启动时，就会获取系统中的环境变量，放入其中。

  system()：系统调用，需要传递一个必须的参数，字符串类型。

  sep：目录分隔符（Windows： \， Linux和Max OS X： /）

  linesep：行结束符（行分隔符）

  sys

  argv：命令行参数

  path： Python中import时的搜索路径，list类型，可修改

  modules：Python中已经加载了的模块，dict类型，可修改

  stdin/stdout/stderr：标准 输入、（正常）输出、错误输出

  platform

  platform()：平台

  version()：内核版本

  architecture()：CPU架构

  machine()：操作系统类型（I386,AMD64）。

  node()：本机网络名

  processor()：处理器信息

  system()：系统（Windows）

  uname():汇总信息

  python_version()：Python版本

补充：

第三方-日期时间操作库：python-dateutil

安装：

pip install python-dateutil

解析时间：

import dateutil.parser as dt_parser

dt_str = '2018-08-09 12:23:34'

dt = dt_parser.parse(dt_str)

第三方-数据操作库：pandas

安装：

pip install pandas

解析时间：

import pandas as pd

csv_path = r'C:\User\XYZ\abc.csv'

df = pd.read_csv(csv_path)

标准库-读取json到有序字典：

import json

from collections import OrderedDict

dict_obj = json.loads(str_data, object_pairs_hook=OrderedDict)

Json扩展应用（豆瓣标签爬虫）：

# -*- coding: utf-8 -*-

import json

import requests

resp = requests.get('https://movie.douban.com/j/search_tags?type=movie&source=')

if resp.ok:

    try:

        data = json.loads(resp.text)

    except Exception as e:

        print(e)

    else:

        print(data)

else:

    print('请求失败')

bytes与str转换：

bytes_obj. decode(encoding='utf-8', errors='strict')

         bytes.decode()参数：

                  encoding：指明字节串是以哪种编码保存的。默认值为'utf-8'。

                  errors：如果出错了，如何处理。可能的值为'strict'（严格处理，引发异常）、'ignore'（忽略，程序继续）、'replace'（替换，程序继续）。默认值为'strict'。

   str.encode(=, ='strict')

                   encoding：指定了转成哪种编码。默认值为'utf-8'。

                   errors：如果出错了，如何处理。默认值为'strict'。

         chardet：第三方库，专用于编码判断，使用步骤如下：

1. 以二进制方式读取文件，得到字节串
2. 调用chardet.detect()方法，参数为上一步得到的字节串。
3. 识别结果为字典类型，有一个名为'encoding'，就是识别到的编码。但是，有可能判断失败，所以需要判断结果是否有效。

         chardet示例代码

# -*- coding: utf-8 -*-

# 模块倒入

try:

    import chardet

except ImportError:

    # 如果导入第三方库出错，一般是未安装

    # 调用pip安装

    import os

    os.system('pip install chardet')

    # 安装完成后重新导入

    import chardet

# 要判断编码的内容

bys = b'hehe'

# 判断编码

det = chardet.detect(bys)

# 获取编码

encoding = 'None'

# 可能检测失败，需要判断

if isinstance(det, dict) and 'encoding' in det:

    encoding = det['encoding']

# 如果获取到了编码

if bool(encoding):

    # TODO：得到编码后做的事，以下是示例

    # 就算正确得到了编码，也要防止存在不可解码的字符

    # 所以需要设置errors参数值为'ignore'或'replace'，一般用前者

    str_obj = bys.decode(encoding, errors='ignore')

    print(str_obj)

    # TODO: 对字符串操作

    pass

else:

    print('编码检测失败，请手动处理')