day 21 模块 和 包

一、模块-----（python代码的文件）

　　一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。

为什么需要模块？

1. 代码的可读性差，且重复的代码多，写代码困难大
2. 将一些复杂的需要重复使用的功能进行归类，分别放到同一个py文件中。
3. 需要调用的时候直接拿来用就可以了。

1、模块的调用

　　  调用语法：import... 或者 from... import...

　　调用事项:

同一个模块不会被重复导入（import语句是可以在程序中的任意位置使用的,且针对同一个模块import多次,为了防止你重复导入，python的优化手段是：第一次导入后就将模块名加载到内存了，后续的import语句仅是对已经加载大内存中的模块对象增加了一次引用，不会重新执行模块内的语句）；

导入模块的顺序：内置模块、需要安装的扩展模块、自己写的模块；

导入模块的规则：不要在同一行导入多个模块

2、模块的命名空间

　　每个模块都是一个独立的名称空间，定义在这个模块中的函数，把这个模块的名称空间当做全局名称空间，这样我们在编写自己的模块时，就不用担心我们定义在自己模块中全局变量会在被导入时，与使用者的全局变量冲突。

3、import

自定义模块my_module.py，文件名my_module.py,模块名my_module

#my_module.py
print('from the my_module.py')

money=1000

def read1():
    print('my_module->read1->money',money)

def read2():
    print('my_module->read2 calling read1')
    read1()

def change():
    global money
    money=0

my_module模块

例1：money与my_module.money不冲突

import my_module
money=10
print(my_module.money)                 #输出结果：1000

例2：read1()与my_module.read1()不冲突

import my_module
def read1():
    print('========')
my_module.read1()                     
 #输出结果：my_module->read1->money 1000

总结：

总结：首次导入模块my_module时会做三件事：

1.为源文件(my_module模块)创建新的名称空间，在my_module中定义的函数和方法若是使用到了global时访问的就是这个名称空间。

2.在新创建的命名空间中执行模块中包含的代码，见初始导入import my_module

3.创建名字my_module来引用该命名空间

4、模块重命名（import ... as）

　　重命名之后之前的名字就失效了，新名字可以直接使用

　　为已经导入的模块起别名的方式对编写可扩展的代码很有用。语句：“from 模块名 import 名字 as 重命名” 或者“import 名字 as 重命名”

　　应用实例：有两种模块mysql和oracle，都包含sqlparse()函数，根据用户的输入，选择不同的sqlparse()功能函数。

if 是mysql数据库:    #当兼容多个模块的相同操作的时候
    import mysql as db
elif 是oracle数据库:
    import oracle as db
db.open
db.write

#mysql.py
def sqlparse():
    print('from mysql sqlparse')
#oracle.py
def sqlparse():
    print('from oracle sqlparse')

#test.py
db_type=input('>>: ')
if db_type == 'mysql':
    import mysql as db
elif db_type == 'oracle':
    import oracle as db

db.sqlparse()

4、from...import...相关

　　对比import my_module，会将源文件的名称空间'my_module'带到当前名称空间中，使用时必须是my_module.名字的方式；而from 语句相当于import，也会创建新的名称空间，但是将my_module中的名字直接导入到当前的名称空间中，在当前名称空间中，直接使用名字就可以了。

#当前有read1，会将模块导入的进行覆盖
from my_module import read1
def read1():
    print('aaaaa')
read1()   #输出结果为：aaaaa

from my_module import *： 把my_module中所有的不是以下划线(_)开头的名字都导入到当前位置，
大部分情况下我们的python程序不应该使用这种导入方式，因为*你不知道你导入什么名字，很有可能会覆盖
掉你之前已经定义的名字。而且可读性极其的差，在交互式环境中导入时没有问题。

__all__=['money','read1']
 #这样在另外一个文件中用from my_module import *就只能导入列表中规定的两个名字

如果my_module.py中的名字前加_,即_money，则from my_module import *
,则_money不能被导入。
*受到__all__的限制,如果不定义__all__就默认引入所有
如果定义了，那么列表中有什么，就能引入什么

5、模块做为脚本执行

　　我们可以通过模块的全局变量__name__来查看模块名：
　　当做脚本运行：
　　__name__ 等于'__main__'

　　当做模块导入：
　　__name__= 模块名

　　作用：用来控制.py文件在不同的应用场景下执行不同的逻辑
　　if __name__ == '__main__'：用来控制在脚本状态时执行的逻辑

def fib(n):   
    a, b = 0, 1
    while b < n:
        print(b, end=' ')
        a, b = b, a+b
    print()

if __name__ == "__main__":
    print(__name__)
    num = input('num :')
    fib(int(num))

以上代码作为脚本执行时会执行fib（n）函数，而作为模块引入时不会自动执行。若代码如下例所示，作为模块引入后自动执行iput（）和fib（）函数。

def fib(n):   
    a, b = 0, 1
    while b < n:
        print(b, end=' ')
        a, b = b, a+b
    print()
num = input('num :')
fib(int(num))

  6、模块的搜索路径

执行python解释器，已经在内存中加载了一些内置的模块了，可以使用sys.modules查看
导入模块的时候，如果模块不存在在sys.modules，才从sys.path给的路径中依次去查找
sys.path完全可以决定某个模块能不能被找到（除了已经在内存中加载的一些内置模块）

所以总结模块的查找顺序是：
　　内存中已经加载的模块->内置模块->sys.path路径中包含的模块
需要特别注意的是：我们自定义的模块名不应该与系统内置模块重名

7、编译python文件

执行python解释器，已经在内存中加载了一些内置的模块了
导入模块的时候，如果模块不存在在sys.modules，才从sys.path给的路径中依次去查找
sys.path完全可以决定某个模块能不能被找到（除了已经在内存中加载的一些内置模块）
提高的是加载速度而绝非运行速度。
当一个py文件被当做一个模块导入的时候，会自动生成一个pyc文件
pyc文件是这个代码编译之后的文件，节省了每一次导入代码之后还要编译的时间

二、包

　　包是一种通过使用‘.模块名’来组织python模块名称空间的方式。

　　python2 和3 之间的区别

　　　　一群模块文件的集合+__init__

　　　　py2 ： 必须有__init__

　　　　py3：不是必须的了

１. 无论是import形式还是from...import形式，凡是在导入语句中（而不是在使用时）遇到带点的，都要第一时间提高警觉：这是关于包才有的导入语法

2. 包是目录级的（文件夹级），文件夹是用来组成py文件（包的本质就是一个包含__init__.py文件的目录）

3. import导入文件时，产生名称空间中的名字来源于文件，import 包，产生的名称空间的名字同样来源于文件，即包下的__init__.py，导入包本质就是在导入该文件

强调：

　　1. 在python3中，即使包下没有__init__.py文件，import 包仍然不会报错，而在python2中，包下一定要有该文件，否则import 包报错

　　2. 创建包的目的不是为了运行，而是被导入使用，记住，包只是模块的一种形式而已，包即模块

包A和包B下有同名模块也不会冲突，如A.a与B.a来自俩个命名空间

import os
os.makedirs('glance/api')
os.makedirs('glance/cmd')
os.makedirs('glance/db')
l = []
l.append(open('glance/__init__.py','w'))
l.append(open('glance/api/__init__.py','w'))
l.append(open('glance/api/policy.py','w'))
l.append(open('glance/api/versions.py','w'))
l.append(open('glance/cmd/__init__.py','w'))
l.append(open('glance/cmd/manage.py','w'))
l.append(open('glance/db/models.py','w'))
map(lambda f:f.close() ,l)

创建目录代码

#文件内容

#policy.py
def get():
    print('from policy.py')

#versions.py
def create_resource(conf):
    print('from version.py: ',conf)

#manage.py
def main():
    print('from manage.py')

#models.py
def register_models(engine):
    print('from models.py: ',engine)

文件内容

 

1、关于__init__.py

　　同样，我们可以通过import和from...import...来导入包，不管是那种方式，只要是第一次导入包或者是包的任何其他部分，都会依次执行包下的__init__.py文件(我们可以在每个包的文件内都打印一行内容来验证一下)，这个文件可以为空，但是也可以存放一些初始化包的代码。

2、相关注意事项

　　(1).关于包相关的导入语句也分为import和from ... import ...两种，但是无论哪种，无论在什么位置，在导入时都必须遵循一个原则：凡是在导入时带点的，点的左边都必须是一个包，否则非法。可以带有一连串的点，如item.subitem.subsubitem,但都必须遵循这个原则。

　　(2).对于导入后，在使用时就没有这种限制了，点的左边可以是包,模块，函数，类(它们都可以用点的方式调用自己的属性)。

　　(3).对比import item 和from item import name的应用场景：如果我们想直接使用name那必须使用后者。

3、相对路径导入与绝对路径导入

　　如下例，顶级包glance是我们写的给别人用的，但是glance包内部也会有彼此需要及引用导入，这时就有了相对导入和绝对导入，其中绝对导入从glance开始，相对导入从用.或者..的方式最为起始（只能在一个包中使用，不能用于不同目录内）。

绝对导入：以glance作为起始

相对导入：用.或者..的方式最为起始（只能在一个包中使用，不能用于不同目录内）

例如：我们在glance/api/version.py中想要导入glance/cmd/manage.py

在glance/api/version.py

#绝对导入
from glance.cmd import manage
manage.main()

#相对导入
from ..cmd import manage
manage.main()

绝对路径导入：

glance/                   

├── __init__.py                          from glance import api
                                         from glance import cmd
                                         from glance import db

├── api                  

│   ├── __init__.py                      from glance.api import policy
                                         from glance.api import versions

│   ├── policy.py

│   └── versions.py

├── cmd                 

│   ├── __init__.py                     from glance.cmd import manage

│   └── manage.py

└── db                   

    ├── __init__.py                    from glance.db import models

    └── models.py

相对路径导入：

glance/                   

├── __init__.py                 from . import api      #.表示当前目录
                                from . import cmd
                                from . import db

├── api                  

│   ├── __init__.py             from . import policy
                                from . import versions

│   ├── policy.py

│   └── versions.py

├── cmd             

│   ├── __init__.py             from . import manage

│   └── manage.py               from ..api import policy   
 #..表示上一级目录，想再manage中使用policy中的方法就需要
回到上一级glance目录往下找api包，从api导入policy

└── db              

    ├── __init__.py            from . import models

    └── models.py

4、软件开发规范

#=============>bin目录：存放执行脚本
#start.py
import sys,os

BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(BASE_DIR)

from core import core
from conf import my_log_settings

if __name__ == '__main__':
    my_log_settings.load_my_logging_cfg()
    core.run()

#=============>conf目录：存放配置文件
#config.ini
[DEFAULT]
user_timeout = 1000

[egon]
password = 123
money = 10000000

[alex]
password = alex3714
money=10000000000

[yuanhao]
password = ysb123
money=10

#settings.py
import os
config_path=r'%s\%s' %(os.path.dirname(os.path.abspath(__file__)),'config.ini')
user_timeout=10
user_db_path=r'%s\%s' %(os.path.dirname(os.path.dirname(os.path.abspath(__file__))),
                     'db')


#my_log_settings.py
"""
logging配置
"""

import os
import logging.config

# 定义三种日志输出格式 开始

standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' 
                  '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字

simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'

id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'

# 定义日志输出格式 结束

logfile_dir = r'%slog' %os.path.dirname(os.path.dirname(os.path.abspath(__file__)))  # log文件的目录

logfile_name = 'all2.log'  # log文件名

# 如果不存在定义的日志目录就创建一个
if not os.path.isdir(logfile_dir):
    os.mkdir(logfile_dir)

# log文件的全路径
logfile_path = os.path.join(logfile_dir, logfile_name)

# log配置字典
LOGGING_DIC = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'standard': {
            'format': standard_format
        },
        'simple': {
            'format': simple_format
        },
    },
    'filters': {},
    'handlers': {
        #打印到终端的日志
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',  # 打印到屏幕
            'formatter': 'simple'
        },
        #打印到文件的日志,收集info及以上的日志
        'default': {
            'level': 'DEBUG',
            'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件
            'formatter': 'standard',
            'filename': logfile_path,  # 日志文件
            'maxBytes': 1024*1024*5,  # 日志大小 5M
            'backupCount': 5,
            'encoding': 'utf-8',  # 日志文件的编码，再也不用担心中文log乱码了
        },
    },
    'loggers': {
        #logging.getLogger(__name__)拿到的logger配置
        '': {
            'handlers': ['default', 'console'],  # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
            'level': 'DEBUG',
            'propagate': True,  # 向上（更高level的logger）传递
        },
    },
}


def load_my_logging_cfg():
    logging.config.dictConfig(LOGGING_DIC)  # 导入上面定义的logging配置
    logger = logging.getLogger(__name__)  # 生成一个log实例
    logger.info('It works!')  # 记录该文件的运行状态

if __name__ == '__main__':
    load_my_logging_cfg()

#=============>core目录：存放核心逻辑
#core.py
import logging
import time
from conf import settings
from lib import read_ini

config=read_ini.read(settings.config_path)
logger=logging.getLogger(__name__)

current_user={'user':None,'login_time':None,'timeout':int(settings.user_timeout)}
def auth(func):
    def wrapper(*args,**kwargs):
        if current_user['user']:
            interval=time.time()-current_user['login_time']
            if interval < current_user['timeout']:
                return func(*args,**kwargs)
        name = input('name>>: ')
        password = input('password>>: ')
        if config.has_section(name):
            if password == config.get(name,'password'):
                logger.info('登录成功')
                current_user['user']=name
                current_user['login_time']=time.time()
                return func(*args,**kwargs)
        else:
            logger.error('用户名不存在')

    return wrapper

@auth
def buy():
    print('buy...')

@auth
def run():

    print('''
购物
查看余额
转账
    ''')
    while True:
        choice = input('>>: ').strip()
        if not choice:continue
        if choice == '1':
            buy()



if __name__ == '__main__':
    run()

#=============>db目录：存放数据库文件
#alex_json
#egon_json

#=============>lib目录：存放自定义的模块与包
#read_ini.py
import configparser
def read(config_file):
    config=configparser.ConfigParser()
    config.read(config_file)
    return config

#=============>log目录：存放日志
#all2.log
[2017-07-29 00:31:40,272][MainThread:11692][task_id:conf.my_log_settings][my_log_settings.py:75][INFO][It works!]
[2017-07-29 00:31:41,789][MainThread:11692][task_id:core.core][core.py:25][ERROR][用户名不存在]