模块
什么是模块
常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名加上.py的后缀。但其实import加载分为四个通用的类别:
1、使用python编写的代码(.py文件)
2、已被编译为共享库或DLL的C或C++扩展。
3、包好一组模块的包。
4、使用C编写并链接到python解释器的内置模块。
为何要使用模块
如果你退出python解释器然后重新进入,那么你之前定义的函数或者变量都将丢失,因此我们通常将程序写到文件中以便永久保存下来,需要时就通过python test.py 方式去执行,此时test.py 被称为脚本script.
随着程序的发展,功能越来越多,为了方便管理。我们通常将程序分为一个个的文件,这样做程序的结构更清晰,方便管理。这时我们不仅可以把这些文件当作脚本去执行,还可以把他们当作模块来导入到其他的模块中,实现了功能的重复利用。
如何使用模块
import
实例文件:自定义模块my_module.py,文件名my_modlue.py,模块名my_modlue
# my_module.py print('from the my_module.py') money = 1000 def read1(): print('my_module-->read1-->money', money) def read2(): print('my_module-->read2 calling read1') read1() def change(): global money money = 0
模块可以包含可执行的语句和函数的定义,这些语句的目的是初始化模块,它们只在模块名第一次遇到import语句时才执行(import语句是可以在程序中的任意位置使用的,且针对同一个模块import多次,为了防止你重复导入,python的优化手段是:第一次导入后就将模块名加载到内存了,后续import语句仅是对已经加载到内存中的模块对象增加了一次引用,不会重新执行模块内的语句),如下
# demo.py import my_module # 只在第一次导入时才执行my_module.py内代码,此处的显示效果是只打印一次‘from the my_module.py’ import my_module import my_module import my_module ''' 执行结果 from the my_module.py '''
我们可以从sys.modules中找到当前已经加载的模块。sys.modules是一个字典,内部包含模块名与模块对象的映射,该字典决定了导入时是否需要重新导入。
每个模块都是一个独立的名称空间,定义在这个模块中的函数,把这个模块的名称空间当作全局名称空间,与使用的全局变量冲突。
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 # 测试一:money与my_module.money不冲突 2 # demo.py 3 4 import my_module 5 6 money = 10 7 print(my_module.money) 8 9 ''' 10 执行结果 11 from the my_module.py 12 1000 13 '''
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# 测试二:read1与my_module.read1不冲突 # demo.py import my_module def read1(): print('------') read1() my_module.read1() ''' 执行结果 from the my_module.py ------ my_module-->read1-->money 1000 '''
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 # 测试三:执行my_module.change()操作的全局变量money仍然是my_module中的 2 # demo.py 3 4 import my_module 5 6 money = 1 7 my_module.change() 8 print(money) 9 10 ''' 11 执行结果 12 from the my_module.py 13 1 14 '''
总结
首次导入模块my_module时会做三件事:
1、为源文件(my_module模块)创建新的名称空间,在my_module中定义的函数和方法若是使用到了flobal时访问的就是这个名称空间。
2、在新创建的命名空间中执行模块包含的代码,
3、创建名字my_module来引用该命名空间
这个名字和变量没有什么区别,都是‘第一类的’, 且使用my_module.名字的方式可访问my_module.py文件中定义的名字,my_module.名字与test.py中的名字来自完全不同的地方。
为模块名引别名,相当于m1=1;m2=1
import my_module as sm print(sm.money)
示范用法一:
有俩种sql模块mysql和oracle,根据用户的输入,选择不用的sql功能
# mysql.py def sqlparse(): print('from mysql sqlparse') # oracle.py def sqlparse(): print('from oracle sqlparse') # test.py db_type = input('>>:').strip() if db_type == 'mysql': import mysql as db elif db_type == 'oracle': import oracle as db db.sqlparse()
示范用法二:
为已经导入的模块起别名的方式对编写可扩展的代码很有用,假如俩个模块xmlreader.py和csvreader.py,它们都定义了函数read_data(filename):用来从文件中读取一些数据,但采用不同的输入方式。可以编写代码来选择性的挑选读取模块,例如:
if file_format == 'xml': import xmlreader as reader elif file_format == 'csv': import csvreader as reader data = reader.read_date(filename)
在一行导入多个模块
import sys, os, re
from ... import ...
对比import my_module,会将源文件的名称空间‘my_module’带到当前的名称空间中,使用时必须是my_module.名字 的方式。
而from 语句相当于import,也会创建新的名称空间,但是将my_module中的名字直接导入到当前的名称空间中,在当前名称空间中,直接使用名字就可以了。
from my_module import read1, read2
这样在当前位置直接使用read1和read2就好了,执行时,仍然以my_module文件全局名称空间
# 测试一:导入的函数read1,执行时仍然回到my_module.py中寻找全局变量money from my_module import read1 money = 999 read1() ''' 执行结果 from the my_module.py my_module-->read1-->money 1000 ''' # 测试二:导入的函数read2,执行时需要调用read1(),仍然回到my_module.py中找read1() from my_module import read2 def read1(): print('-----') read2() ''' 执行结果 my_module-->read2 calling read1 my_module-->read1-->money 1000 '''
如果当前有重名read1和read2,那么会覆盖效果。
# 测试三:导入的函数read1,被当前位置定义的read1覆盖掉了 from my_module import read1 def read1(): print('------') read1() ''' 执行结果 from the my_module.py ------ '''
需要特别强调的一点是:python中的变量赋值不是一种存储操作,而只是一种绑定关系,如下:
from my_module import money, read1 money = 100 # 将当前位置的名字money绑定到100 print(money) # 打印当前名字 read1() # 读取my_module中的money,仍然为1000
ps:个人理解此处和类的静态属性一样:
# my_module.py print('from the my_module.py') money = [1000] def read1(): print('my_module-->read1-->money', money) def read2(): print('my_module-->read2 calling read1') read1() def change(): global money money = 0 from my_module import money, read1 money.append(999) # 将当前位置的名字money绑定到100 print(money) # 打印当前名字 read1() # 读取my_module中的money,仍然为1000 ''' 执行结果 from the my_module.py [1000, 999] my_module-->read1-->money [1000, 999] '''
也支持as
from my_module import read1 as read
也支持多行导入
from my_module import read1,read2 as b,money as m print(m) b() ''' 执行结果 from the my_module.py [1000] my_module-->read2 calling read1 my_module-->read1-->money [1000] '''
from my_moudle import * 把my_moudle中所有不是以下划线_开头的名字都导入到当前的位置,大部分情况下我们的python程序不应该使用这种导入方式,因为*你不知道导入什么名字,很有可能会覆盖掉你之前已经定义的名字。而且可读性极其的差,在交互式环境中导入时没有问题。
from my_module import * #将模块my_module中所有的名字都导入到当前名称空间 print(money) print(read1) print(read2) print(change) ''' 执行结果: from the my_module.py [1000] <function read1 at 0x038600C0> <function read2 at 0x038603D8> <function change at 0x03860468> '''
在my_module.py中新增一行
__all__=['money','read1'] #这样在另外一个文件中用from my_module import *就这能导入列表中规定的两个名字 *如果my_module.py中的名字前加_,即_money,则from my_module import *,则_money不能被导入
模块中的循环引用问题
思考:假如加个模块a, b。我们可不可以再a模块中import b, 再在b 模块中import a?
把模块当作脚本执行
我们可以通过模块的全局变量__name__来查看模块名:
当作脚本运行:
__name__ 等于'__main__'
当做模块导入:
__name__= 模块名
作用:用来控制.py文件在不同的应用场景下执行不同的逻辑
if __name__ == '__main__':
模块搜索路径
python解释器会在启动时加载一些模块,可以使用sys.modules查看。
当第一次导入某个模块时,会先检查该模块是否已经被加载到内存中(当前执行文件的名称空间对应的内存),如果有则直接引用。
如果没有,解释器则会查找同名的内建模块,如果还没有找到,就从sys.path给出的目录列表中依次寻找my_module.py文件。
所以总结模块的查找顺序是:内存中已经加载的模块->内置模块->sys.path->路径中包含的模块
sys.path的初始化的值来自于:
import sys sys.path.insert(0, 'x/y/z') # 排在前面的目录,优先被搜索。
编译python文件
为了提高加载模块的速度。强调:提高加载速度而非运行速度。python解释器会在__pycache__目录中下缓存每个模块编译后的版本,格式为:moudle.version.py。通常会包含python的版本号。例如,在CPython3.3版本下,my_moudle.py模块会被缓存为__pycache__/my_module.cpython-33.pyc。这种命名规范保证了编译后的结果多版本共存。
python检查源文件的修改时间与编译的版本进行对比。如果过期就需要重新编译。这是完全自动化的过程。并且编译的模块是平台独立的。所以相同的库可以在不同的架构的系统之间共享,即pyc是一种跨平台的字节码,类似Java???是由python虚拟机来执行的,但是pyc文件时可以反编译的,因此它的出现仅仅是用来提升模块的加载速度的。
python解释器在以下俩种情况下不检测缓存
1、如果是在命令行中直接导入模块,则按照这种方式,每次导入都会重新编译,并且不会存储编译后的结果(python3.3以前的版本应该是这样)
2、如果源文件不存在,那么缓存的结果也不会被使用,如果想在没有源文件的情况下来使用编译后的结果,则百年以后的结果必然在源目录下。
提示:
1、模块名区分大小写,foo.py与FOO.py代表俩个模块。
2、你可以使用-O或者-OO转换python命令来减少编译模块的大小。
-O转换会帮你去掉assert语句 -OO转换会帮你去掉assert语句和__doc__文档字符串 由于一些程序可能依赖于assert语句或文档字符串,你应该在在确认需要的情况下使用这些选项。
3、在速度上从.pyc文件中读指令来执行不会比从.py文件中读指令更快,只有在模块被加载时, .pyc文件才是更快的
4、只有使用import语句才将文件自动编译成为.pyc文件,在命令行或标准输入中指定运行脚本则不会生成这类文件,因而我们可以使用compieall模块为一个目录中的所有模块创建.pyc文件。
模块可以作为一个脚本(使用python -m compileall)编译Python源 python -m compileall /module_directory 递归着编译 如果使用python -O -m compileall /module_directory -l则只一层 命令行里使用compile()函数时,自动使用python -O -m compileall
dir()函数
内建函数dir是用来查找模块中定义的名字,返回一个有序字符串列表
import my_module print(dir(my_module)) ''' from the my_module.py ['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'change', 'money', 'read1', 'read2'] '''
包
包是一种通过使用‘.模块名’来组织python模块名称的空间的方式。
1、无论是import形似还是from ... import ... 形似,凡是导入语句中(而不是在使用时)遇到带点的,都要第一时间提高警觉:这是关于包才有的导入语法
2、包是目录级的(文件夹级),文件夹是用来组成py文件(包的本质是一个包含__init__.py文件的目录)
3、import导入文件时,产生名称空间中的名字来源文件,import包,产生的名称空间的名字同样来源于文件,即包下的__init__.py,导入包的本质就是在导入该文件。
强调:
1、在python3中,即使包下没有__init__.py文件,import包任然不会报错,而在python2中,包下一定要有该文件,否则import包报错。
2、创建包的目的不是为了运行,而是被导入使用,记住,包只是模块的一种形式而已,包即模块。
包A和包B下有同名模块也不会冲突,如A.a 与B.a来自两个命名空间
import os os.makedirs('glance/api') os.makedirs('glance/cmd') os.makedirs('glance/db') l = [] l.append(open('glance/__init__.py','w')) l.append(open('glance/api/__init__.py','w')) l.append(open('glance/api/policy.py','w')) l.append(open('glance/api/versions.py','w')) l.append(open('glance/cmd/__init__.py','w')) l.append(open('glance/cmd/manage.py','w')) l.append(open('glance/db/models.py','w')) map(lambda f:f.close() ,l)
目录结构
glance/ #Top-level package ├── __init__.py #Initialize the glance package ├── api #Subpackage for api │ ├── __init__.py │ ├── policy.py │ └── versions.py ├── cmd #Subpackage for cmd │ ├── __init__.py │ └── manage.py └── db #Subpackage for db ├── __init__.py └── models.py
文件内容
#文件内容 #policy.py def get(): print('from policy.py') #versions.py def create_resource(conf): print('from version.py: ',conf) #manage.py def main(): print('from manage.py') #models.py def register_models(engine): print('from models.py: ',engine) 文件内容
注意事项
1、关于包相关的导入语句也分为import和from ... import ... 俩种,但是无论哪种,无论在什么位置,在导入时都必须遵循一个原则:凡是在导入时带点的,点的左边都必须时一个包,否则非法,可以带一连串的点,如 a.b.c ,但都必须遵循这个原则。
2、对于导入后,在使用时就没有这种限制了,点的左边可以是包,模块,函数,类(它们都可以用点的方式调用自己的属性,)
3、对比import item和from item import name 的应用场景:
如果我们想直接使用name那必须使用后者。
import
我们在与包glance同级别的文件中测试
import glance.db.models glance.db.models.register_models('mysql')
from ... import ...
需要注意的时from后import导入的模块,必须是明确的一个不能带点的。否则会有语法错误,如:from a import b.c是错误语法
__init__.py文件
不管是哪一种方式,只要是第一次导入包或者是包的任何其它部分,都会依次执行包下的__init__.py 文件,这个文件可以为空,但是也可以存放一些初始化包的代码。
from glance.api import *
在讲模块时,我们已经讨论过了从一个模块内导入所有*,此处我们研究从一个包导入所有的*。
此处是想从包api中导入所有,实际上该语句只会导入包api下__init__.py文件中定义的名字。我们可以在这个文件中定义__all__:
#在__init__.py中定义 x=10 def func(): print('from api.__init.py') __all__=['x','func','policy']
此时我们在于glance同级的文件中执行from glance.api import *就导入__all__中的内容(versions仍然不能导入)。
glance/ ├── __init__.py ├── api │ ├── __init__.py __all__ = ['policy','versions'] │ ├── policy.py │ └── versions.py ├── cmd __all__ = ['manage'] │ ├── __init__.py │ └── manage.py └── db __all__ = ['models'] ├── __init__.py └── models.py from glance.api import * policy.get() from glance.api import *
绝对导入和相对导入
我们的最顶级包glance是写给别人的,然后在glance包内部也会有彼此之间互相导入的需求,这时候就有绝对导入和相对导入俩种方式:
绝对导入:以glance作为起始
相对导入:用.或者..的方式作为起始(只能在一个包内使用,不能用于不同目录内)
例如:我们在glance/api/version.py 想要导入glance/cmd/manage.py
# 在glance/api/version.py # 绝对导入 from glance.cmd import manage manage.mani() # 相对导入 from ..cmd import manage manage.mani()
测试结果:注意一定要在于glance同级的文件中测试。
特别需要注意的是:可以用import导入内置或第三方模块(已经在sys.path中),但是要绝对避免使用import来导入自定义包的子模块(没有在sys.path中),应该使用from ... import ... 的绝对或者相对导入,且包的相对导入只能用from的形式。
比如我们想在glance/api/version.py中导入glance/api/policy.py,有的同学一抽这俩个模块是在同一个目录下,十分开心就去做了,他直接这么做
# 在version.py中 import policy policy.get()
没错,我们单独运行version.py是一点问题没有,运行version.py的路径搜索就是从当前路径开始的,雨是在导入policy时能在当前目录下找到
但是你想啊,你子包中的模块version.py极有可能是呗一个glance包同一级别的其他文件导入,比如我们在glance同级下的一个test.py文件中导入version.py,如下
from glance.api import versions ''' 执行结果: ImportError: No module named 'policy' ''' ''' 分析: 此时我们导入versions在versions.py中执行 import policy需要找从sys.path也就是从当前目录找policy.py, 这必然是找不到的 '''
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
glance/ ├── __init__.py from glance import api from glance import cmd from glance import db ├── api │ ├── __init__.py from glance.api import policy from glance.api import versions │ ├── policy.py │ └── versions.py ├── cmd from glance.cmd import manage │ ├── __init__.py │ └── manage.py └── db from glance.db import models ├── __init__.py └── models.py
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
glance/ ├── __init__.py from . import api #.表示当前目录 from . import cmd from . import db ├── api │ ├── __init__.py from . import policy from . import versions │ ├── policy.py │ └── versions.py ├── cmd from . import manage │ ├── __init__.py │ └── manage.py from ..api import policy #..表示上一级目录,想再manage中使用policy中的方法就需要回到上一级glance目录往下找api包,从api导入policy └── db from . import models ├── __init__.py └── models.py
单独导入包
单独导入包时名称时不会导入包中所包含的所有子模块,如
#在与glance同级的test.py中 import glance glance.cmd.manage.main() ''' 执行结果: AttributeError: module 'glance' has no attribute 'cmd' '''
解决方法:
#glance/__init__.py from . import cmd #glance/cmd/__init__.py from . import manage
执行:
1 #在于glance同级的test.py中 2 import glance 3 glance.cmd.manage.main()
千万别问:__all__不能解决吗,__all__是用于控制from ... import ... *
import glance 之后直接调用模块中的方法
glance/ ├── __init__.py from .api import * from .cmd import * from .db import * ├── api │ ├── __init__.py __all__ = ['policy','versions'] │ ├── policy.py │ └── versions.py ├── cmd __all__ = ['manage'] │ ├── __init__.py │ └── manage.py └── db __all__ = ['models'] ├── __init__.py └── models.py import glance policy.get() import glance
软件开发目录