Python自动化开发课堂笔记【Day04】

函数对象

　　函数是第一类对象，即函数可以当作数据传递。具体用法分成以下四类：

　　　　1. 可以被引用

def foo():
    print('from foo')
func=foo
print(foo) ---> <function foo at 0x00386C48> --> foo函数在内存中地址
print(func) ---> <function foo at 0x00386C48>
foo() ---> from foo
func() ---> from foo

 　　　　2. 可以当作参数传递

def foo():
    print('from foo')
def bar(func):
    print(func) ---> <function foo at 0x00306DF8> --> func函数在内存中地址
    func() ---> from foo
bar(foo)

　　　　3. 返回值可以是函数

def foo():
    print('from foo')
def bar(func):
    return func ---> 作为返回值
f=bar(foo)
print(f) ---> <function foo at 0x002E6DF8>
f() ---> from foo

4. 可以当作容器类型的元素

def foo():
    print('from foo')
dic={'func':foo} ---> 在字典中作为键值存在
print(dic['func']) ---> <function foo at 0x00556C48>
dic['func']() ---> from foo

　　　　5. 应用实例

SQL语句操作判定
 
 1 def select(sql):
    print('========>select')
def insert(sql):
    print('========>add')
def delete(sql):
    print('========>delete')
def update(sql):
    print('========>update')
func_dic={'select':select, 'update':update, 'insert':insert, 'delete':delete}
def main():
    while True:
        sql = input('>>: ').strip()
        if not sql:continue
        l = sql.split()
        cmd=l[0] ---> 读取SQL语句首单词
        if cmd in func_dic:
            func_dic[cmd](l) ---> 当作容器类型的元素
main()

简易姓名查询数据库 

 1 def init(database):
    database['first'] = {'Jia':{'Jia Xiao Liang'}}
    database['middle'] = {'Xiao':{'Jia Xiao Liang'}}
    database['last'] = {'Liang':{'Jia Xiao Liang'}}

def lookup(database, lable, name):
    return  database[lable].get(name)

def store(database, full_name):
    names = full_name.split(' ')
    if len(names) == 2:
        names.insert(1,' ')
    lables = 'first','middle','last'
    for lable, name in zip(lables,names):
        people = lookup(database, lable, name)
        print(people)
        if people:
            database[lable][name].add(full_name)
        else:
            database[lable][name] = {full_name}

if __name__ == '__main__':
    storage = dict()
    print(type(storage))
    init(storage)
    while True:
        print('Store:',storage)
        name = input('>>>').strip()
        store(storage,name)

函数嵌套

1. 函数的嵌套调用

def max2(x,y):
    return x if x > y else y
def max4(a,b,c,d):
    res1=max2(a,b)
    res2=max2(res1,c)
    res3=max2(res2,d)
    return res3
print(max4(10,99,31,22))

  2. 函数的嵌套定义

def f1():
    def f2():
        print('from f2')
        def f3():
            print('from f3')
        f3()
    f2()
f1()

 命名空间

1. 三种命名空间

1. 内置名称空间：随着Python解释器的启动而产生  

print(sum) ---> <built-in function sum>
print(max) ---> <built-in function sum>
print(min) ---> <built-in function sum>
import builtins 
for i in dir(builtins):
    print(i) ---> 打印出所有内置函数

 2. 全局名称空间：文件的执行会产生全局名称空间，指的是文件级别定义的名字都会放入该空间

x=1
def func():
    money=2000 ---> 局部名称空间中的变量
    x=2
    print('func x = ', x)
print(x)
print(func)
func()
# print(money) ---> 报错，money是函数中定义的变量，属于局部名称空间

3. 局部名称空间：函数被调用时会产生局部名称空间，只是在函数调用时临时绑定，调用结束后绑定自动解除（可参考上段代码）

作用域

1. 全局作用域：

a.）内置命名空间，全局命名空间

b.）查看全局作用域内的名字方法globals()

c.）全局有效，在任何位置都能访问到，除非del删除，否则会一直存活到文件执行完毕

2. 局部作用域

a.）局部命名空间

b.）查看局部作用域内的名字方法locals()

c.）局部有效，只能在局部范围内调用，只在函数被调用时有效，调用结束后自动失效

 变量名字的查找顺序：局部命名空间 ---> 全局命名空间 ---> 内置命名空间
 1 x=1 ---> 属于全局作用域，内部函数也可以调用
def func():
    x=2 ---> 函数内变量属于局部作用域，函数外部不可调用
    print('local.x = ',x) ---> x = 2
    sum=123123
    print('local.sum = ',sum) ---> sum = 123123
    print(globals()) ---> {'__doc__': None, '__cached__': None, '__package__': None, 'func': <function func at 0x00456C48>, '__loader__': <_frozen_importlib_external.SourceFileLoader object at 0x00415AB0>, '__spec__': None, '__file__': 'C:/Users/ajiax/PycharmProjects/Python17/Day04/fortest.py', '__builtins__': <module 'builtins' (built-in)>, 'x': 1, '__name__': '__main__'}
    print(locals()) ---> {'x': 2, 'sum': 123123}
    print(globals() is locals()) ---> False
func()
print('global.x = ',x)
print(globals()) ---> {'__doc__': None, '__cached__': None, '__package__': None, 'func': <function func at 0x00456C48>, '__loader__': <_frozen_importlib_external.SourceFileLoader object at 0x00415AB0>, '__spec__': None, '__file__': 'C:/Users/ajiax/PycharmProjects/Python17/Day04/fortest.py', '__builtins__': <module 'builtins' (built-in)>, 'x': 1, '__name__': '__main__'}
print(locals()) ---> {'__doc__': None, '__cached__': None, '__package__': None, 'func': <function func at 0x00456C48>, '__loader__': <_frozen_importlib_external.SourceFileLoader object at 0x00415AB0>, '__spec__': None, '__file__': 'C:/Users/ajiax/PycharmProjects/Python17/Day04/fortest.py', '__builtins__': <module 'builtins' (built-in)>, 'x': 1, '__name__': '__main__'}
print(globals() is locals()) ---> True

闭包函数

定义：1. 定义在函数内部

　　   2. 包含对外部作用域而非全局作用域的引用 ，形象点可以说闭包函数是由外部作用域而非全局作用域包裹在里面的函数，它可以使用其外部作用域的变量，但是无法使用更外一层即全局作用域的变量

下划线部分可以理解为一个有外部作用域形成的包裹，并将函数f2()包裹在里面，从而形成闭包函数
1 x = 11 ---> 全局作用域变量，闭包函数无法调用
def f1():
    x = 1 ---> 外部作用域的变量，闭包函数可以调用
    def f2(): ---> 闭包函数
        print(x)
    return f2
f=f1()
print(f) ---> <function f1.<locals>.f2 at 0x002D6C48>
f() ---> 1 ---> 很明显结果是由闭包函数f2()调用其外部作用域的变量x的结果，而非全局变量的x

 闭包函数应用

 惰性计算，爬取网页内容
1 from urllib.request import urlopen

def index(url):
    def get():
        return urlopen(url).read().decode('utf-8') ---> 将从网页上爬取下来的内容由字节形式转化为urf-8
    return get
web = index(input('>>>')) ---> 输入需要爬取的网页地址
print(web()) ---> 打印爬取到的网页内容

print(web.__closure__[0].cell_contents) ---> 将闭包函数引用的外部命名空间的变量显示出来，多个变量以元组的形式存在

x=11
y=22
def f1():
    x=1
    y=2
    def f2():
        print('x = %s and y = %s' % (x,y))
    return f2
f=f1()
f() ---> x = 1 and y = 2
print(f.__closure__[0].cell_contents,f.__closure__[1].cell_contents) ---> 1 2
print(f.__closure__) ---> (<cell at 0x00245AF0: int object at 0x66115910>, <cell at 0x00245B50: int object at 0x66115920>)

装饰器 

定义：修饰其他函数的工具，修饰添加功能，工具指的是函数，装饰器本身可以是任何可调用对象，被装饰的对象也可以是任意可调用的对象

为什么使用装饰器：

1. 开放封闭原则：对修改是封闭的，对扩展是开放的

2. 装饰器是为了在不修改被装饰对象的源代码及其调用方式的前提下，为其添加更多的功能

 无参数装饰器的简单实现
 1 import time
def timmer(func):
    def wrapper():
        start_time=time.time()
        func()
        stop_time=time.time()
        print('run time is %s' %(stop_time-start_time))
    return wrapper
@timmer #index=timmer(index)将他正下方的函数的函数名作为参数传给timer函数，固定只有一个参数，让后再讲timer函数的返回值再重新绑定给index函数
def index():
    time.sleep(3)
    print('welcome to index')
index() #实际上已经是wrapper() ---> 已经不是原来的index()函数，指向的内存地址为wrapper函数的内存地址

 多参数装饰器的简单实现
 1 import time
def timer(func):
    def wrapper(*args,**kwargs):
        start_time=time.time()
        res = func(*args,**kwargs)
        stop_time=time.time()
        print('run time is %s' %(stop_time-start_time))
        return res
    return wrapper
@timer #index=timmer(index)将他正下方的函数作为参数传入
def index(name,age):
    time.sleep(3)
    print('welcome to index')
    return name,age
res = index('Albert',30) #wrapper()
print(res)

 多层装饰器嵌套
 1 import time
def timer(func):
    def wrapper(*args,**kwargs):
        print('====>timmer.wrapper')
        start_time=time.time()
        res=func(*args,**kwargs) #auth_wrapper
        stop_time=time.time()
        print('run time is %s' %(stop_time-start_time))
        return res
    return wrapper

login_user = {'name':None,'status':False}
def out_auth(driver = 'file'):
    def auth(func):
        def wrapper(*args,**kwargs):
            print('====>auth.wrapper')
            if driver == 'file':
                if login_user['name'] and login_user['status']:
                    res = func(*args,**kwargs)
                    return res
                else:
                    name = input('>>>')
                    psw = input('>>>')
                    if name == 'Albert' and psw =='123':
                        login_user['name'] = 'Albert'
                        login_user['status'] = True
                        print('33[45mlogin successful33[0m')
                        res = func(*args,**kwargs)
                        return res
                    else:
                        print('33[45mlogin failed33[0m')
            elif driver == 'ldap':
                print('===========LDAP')
            elif driver == 'mysql':
                print('===========MYSQL')
                return func(*args,**kwargs)
            else:
                print('===========N/A')
        return wrapper
    return auth
@timer #auth====>index=auth(index)===>index=auth_wrapper
@out_auth(driver='file')#@auth====>index=auth(index)===>index=auth_wrapper
def index():
    print('Welcome to index')
@out_auth(driver='mysql')
def home(name):
    print('%s welcome to homepage' % name)

index()
home('Albert')

迭代器

1. 迭代的概念:重复+上一次迭代的结果为下一次迭代的初始值
　　迭代器的优点和缺点
　　优点：
　　　　1.提供了一种不依赖下标的迭代方式
　　　　2.就跌迭代器本身来说，更节省内存
　　缺点：
　　　　1. 无法获取迭代器对象的长度
　　　　2. 不如序列类型取值灵活，是一次性的，只能往后取值，不能往前退

只满足重复，因而不是迭代
while True:
    print('====>')
    
下面才为迭代
l = [1, 2, 3]
count = 0
while count < len(l):
    print('====>', l[count])
    count += 1

l = (1, 2, 3)
count = 0
while count < len(l):
    print('====>', l[count])
    count += 1

s='hello'
count = 0
while count < len(s):
    print('====>', s[count])
    count += 1

2. 为什么要有迭代器？

　　对于没有索引的数据类型，比如字典和集合，必须提供一种不依赖索引的迭代方式
　　可迭代的对象:凡是内置__iter__方法的，都是可迭代的对象
　　[1,2].__iter__()
　　'hello'.__iter__()
　　(1,2).__iter__()
　　{'a':1,'b':2}.__iter__()
　　{1,2,3}.__iter__()

3. 如何解决迭代器排除异常的问题？

dic={'a':1,'b':2,'c':3}
i=dic.__iter__()
while True:
    try:
        key=i.__next__()
        print(dic[key])
    except StopIteration:
        break

 4. 如何判断一个对象是可迭代的对象，还是迭代器对象？

from collections import Iterable,Iterator

'abc'.__iter__() # 字符串类型
().__iter__() # 元组类型
[].__iter__() # 列表类型
{'a':1}.__iter__() # 字典类型
{1,2}.__iter__() # 集合类型

f=open('a.txt','w') # 文件类型
f.__iter__()

5. 下列数据类型都是可迭代的对象

print(isinstance('abc',Iterable)) #True
print(isinstance([],Iterable)) # True
print(isinstance((),Iterable)) # True
print(isinstance({'a':1},Iterable)) # True
print(isinstance({1,2},Iterable)) # True
print(isinstance(f,Iterable)) # True

6.只有文件是迭代器对象

print(isinstance('abc',Iterator)) # False
print(isinstance([],Iterator)) # False
print(isinstance((),Iterator)) # False
print(isinstance({'a':1},Iterator)) # False
print(isinstance({1,2},Iterator)) # False
print(isinstance(f,Iterator)) # True

7. 可迭代对象：只有__iter__方法，执行该方法得到的迭代器对象
　　迭代协议：
　　　　对象有__next__
　　　　对象有__iter__,对于迭代器对象来说，执行__iter__方法，得到的结果仍然是它本身

f1=f.__iter__()
print(f)
print(f1)
print(f is f1) # 对于本身就是迭代器的对象来说，执行__iter__方法，得到的结果仍然是它本身

8. 迭代器工作原理解析

dic={'name':'egon','age':18,'height':'180'}
print(dic.items())
for k,v in dic.items():
    print(k,v)
i=iter(dic)
while True:
    try:
        k=next(i)
        print(k)
    except StopIteration:
        break
上边为for循环的基本工作原理

只要是for循环语句就先会将dic变成一个迭代器，然后通过next方法迭代内部元素
for k in dic: #i=iter(dic)  k=next(i)
    print(k)
    print(dic[k])
for循环不同于while循环，for循环本身就是迭代循环，迭代结束之后自动捕捉异常结束

生成器

1.生成器函数：只要函数体包含yield关键字，该函数就是生成器函数
　　生成器就是迭代器
　　yield的功能：
　　　　1.相当于为函数封装好__iter__和__next__
　　　　2.return只能返回一次值，函数就终止了，而yield能返回多次值，每次返回都会将函数暂停，下一次next会从上一次暂停的位置继续执行
　　　　3.yield也可以一次返回多个值，以元组的形式返回

使用return的执行效果
def foo(): # return只能执行一次，函数就会终止，2,3,4不会显示出来
    return 1
    return 2
    return 3
    return 4
res1=foo()
print(res1)
res2=foo()
print(res2)

使用yield的执行效果
def foo():
    print('first')
    yield 1
    print('second')
    yield 2
    print('third')
    yield 3
    print('fourth')
    yield 4
    print('fifth')

g=foo() # g其实就是个迭代器，yield将函数变成了迭代器
for i in g:
    print(i)
print(g)
print(next(g)) #触发迭代器g的执行，进而触发函数的执行
print(next(g)) # 迭代器停靠在yield 2
print(next(g)) # 迭代器停靠在yield 3
print(next(g)) # 迭代器停靠在yield 4
print(next(g))

　　2. 生成器练习一

def counter(n):
    print('start...')
    i=0
    while i < n:
        yield i
        i+=1
    print('end...')
g=counter(5)
print(g)
print(next(g))
print(next(g))
print(next(g))
print(next(g))
print(next(g))
print(next(g)) # 报出异常

　　3. 生成器练习二

yield实例化使用：模拟管道符功能的实现
tail -f a.txt | grep 'python'

import time
def tail(filepath):
    with open(filepath,encoding='utf-8') as f:
        f.seek(0,2) # 直接跳到文件末尾读取文件
        while True:
            line=f.readline().strip()
            if line:
                yield line
            else:
                time.sleep(0.2)

def grep(pattern,lines):
    for line in lines: #触发tail函数中的生成器的执行
        if pattern in line:
            yield line

g=grep('python',tail('a.txt'))
print(g)
for i in g: #触发grep函数中的生成器的执行
    print(i)

内置函数

print(abs(-1))
print(all([1,2,3])) # 如果每个元素的布尔值都为True，则all的返回值为True
print(all([0,2,3])) # False
print(all('')) # 如果all中的迭代对象为空，也为True

print(any([0,None,'',1])) # 只要有一个为True，则返回值为True
print(any([0,None,''])) # 如果都为False的情况下返回False
print(any([])) # 如果any中可迭代对象为空，则返回False

print(bin(3)) # 将十进制数字转化为二进制
print(hex(17)) # 将十进制数字转化为十六进制
print(oct(9)) # 将十进制数字转化为八进制

 14 0 None 空 ---> bool值为False，其余都为True

callable()
def func():
    pass
print(callable(func)) # 判断是不是可调用对象

print(chr(68)) # 将括号中数字按照ASCII码表转化为相应的表中字符
print(ord('D')) # 将括号中字符按照ASCII码表转化为相应的表中数字

res=complex(1+2j) # 复数形式，分为实部和虚部
print(res.real)
print(res.imag)

 28 工厂函数（批量产生特定类型的实例）
dict
int
str
set
list
l=[] ---> #l=list([])
list([1,2,3])
list(['a'])
list(['b'])

l=[]
print(dir(l)) # 查看一个对象下面的属性
print(help(l)) # 查看一个对象的帮助信息

print(divmod(1000,30)) # 得掉商和余数，通常用于分页显示

x=range(10) # 不是迭代器，但是一个可迭代对象
enumerate([1,2,3]).__next__() # 是迭代器

cmd='print("你瞅啥")'
eval(cmd) # 将字符串中的命令提取出来执行
dic="{'a':1,'b':2}"
d=eval(dic)
print(type(d),d['a'])

with open('user.db','w',encoding='utf-8') as f:
    user_dic={'name':'egon','password':'123'}
    f.write(str(user_dic))

with open('user.db','r',encoding='utf-8') as f:
    dic=f.read()
    print(dic,type(dic))
    dic=eval(dic)
    print(dic['name'])

s={1,2} #s=set({1,2}) # 定义可变集合
s.add(3)
print(s)
s=frozenset({1,2}) # 定义不可变集合


 70 哈希：
 71 1. 只要校验的内容一致，那hash得到结果永远一样
 72 2. 不可逆
 73 3. 只要采用的哈希算法一样，那无论被校验的内容有多长，hash的到的结果长度都一样
print(hash('asdfasdfsadf'))
print(hash('asdfasdfsadf'))

x=1
y=x
print(id(x),id(y))
print(x is y) # 判断的是身份
a=1
b=1
print(a == b) # 判断的是值

print(max([1,2,3,4]))
print(pow(10,2,3))

l=['a',4,2,3]
for i in reversed(l): # 反转列表
    print(i)
print(list(reversed(l)))

i=reversed(l)
for x in i:
    print(x)
print(list(i)) # 列表为空，为什么

print(round(3.141542653589127134,4)) # 四舍五入取小数点后几位

l=['a','b','c','d','e']
print(l[1:4:2])
s=slice(1,4,2) # 切片用，并且可以重复利用
print(l[s])

vars() # 如果没有参数相当于locals()

s='hello'
l=[1,2,3,4,5]
z=zip(s,l) # 拉链函数
print(z)
for i in z:
    print(i)

import time
m=__import__('time') # 以字符串的形式导入模块
m.sleep(3000)