python基础-生成器

一 生成器与yield

若函数体包含yield关键字，再调用函数，并不会执行函数体代码，得到的返回值即生成器对象

>>> def my_range(start,stop,step=1):
...     print('start...')
...     while start < stop:
...         yield start
...         start+=step
...     print('end...')
... 
>>> g=my_range(0,3)
>>> g
<generator object my_range at 0x104105678>

生成器内置有__iter__和__next__方法，所以生成器本身就是一个迭代器

>>> g.__iter__
<method-wrapper '__iter__' of generator object at 0x1037d2af0>
>>> g.__next__
<method-wrapper '__next__' of generator object at 0x1037d2af0>

因而我们可以用next(生成器)触发生成器所对应函数的执行，

>>> next(g) # 触发函数执行直到遇到yield则停止,将yield后的值返回，并在当前位置挂起函数
start...
0
>>> next(g) # 再次调用next(g)，函数从上次暂停的位置继续执行，直到重新遇到yield...
1
>>> next(g) # 周而复始...
2
>>> next(g) # 触发函数执行没有遇到yield则无值返回，即取值完毕抛出异常结束迭代
end...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

既然生成器对象属于迭代器，那么必然可以使用for循环迭代，如下：

>>> for i in countdown(3):
...     print(i)
... 
countdown start
3
2
1
Done!

有了yield关键字，我们就有了一种自定义迭代器的实现方式。yield可以用于返回值，但不同于return，函数一旦遇到return就结束了，而yield可以保存函数的运行状态挂起函数，用来返回多次值

# 如何得到自定义的迭代器：
# 在函数内一旦存在yield关键字，调用函数并不会执行函数体代码
# 会返回一个生成器对象，生成器即自定义的迭代器
def func():
    print('第一次')
    yield 1
    print('第二次')
    yield 2
    print('第三次')
    yield 3
    print('第四次')


# g=func()
# print(g)
# 生成器就是迭代器
# g.__iter__()
# g.__next__()


# 会触发函数体代码的运行，然后遇到yield停下来，将yield后的值
# 当做本次调用的结果返回
# res1=g.__next__()
# print(res1)
#
#
# res2=g.__next__()
# print(res2)
#
# res3=g.__next__()
# print(res3)
#
# res4=g.__next__()



# len('aaa') # 'aaa'.__len__()

# next(g)    # g.__next__()
# iter(可迭代对象)     # 可迭代对象.__iter__()

二 yield表达式应用

在函数内可以采用表达式形式的yield

>>> def eater():
...     print('Ready to eat')
...     while True:
...         food=yield
...         print('get the food: %s, and start to eat' %food)
...

可以拿到函数的生成器对象持续为函数体send值，如下

>>> g=eater() # 得到生成器对象
>>> g
<generator object eater at 0x101b6e2b0>
>>> next(e) # 需要事先”初始化”一次，让函数挂起在food=yield，等待调用g.send()方法为其传值
Ready to eat
>>> g.send('包子')
get the food: 包子, and start to eat
>>> g.send('鸡腿')
get the food: 鸡腿, and start to eat

针对表达式形式的yield，生成器对象必须事先被初始化一次，让函数挂起在food=yield的位置，等待调用g.send()方法为函数体传值，g.send(None)等同于next(g)。

​ 我们可以编写装饰器来完成为所有表达式形式yield对应生成器的初始化操作，如下

def init(func):
    def wrapper(*args,**kwargs):
        g=func(*args,**kwargs)
        next(g)
        return g
    return wrapper

@init
def eater():
    print('Ready to eat')
    while True:
        food=yield
        print('get the food: %s, and start to eat' %food)

表达式形式的yield也可以用于返回多次值，即变量名=yield 值的形式，如下

>>> def eater():
...     print('Ready to eat')
...     food_list=[]
...     while True:
...         food=yield food_list
...         food_list.append(food)
... 
>>> e=eater()
>>> next(e)
Ready to eat
[]
>>> e.send('蒸羊羔')
['蒸羊羔']
>>> e.send('蒸熊掌')
['蒸羊羔', '蒸熊掌']
>>> e.send('蒸鹿尾儿')
['蒸羊羔', '蒸熊掌', '蒸鹿尾儿']

# x=yield 返回值

# 一：
# def dog(name):
#     print('道哥%s准备吃东西啦...' %name)
#     while True:
#         # x拿到的是yield接收到的值
#         x = yield # x = '肉包子'
#         print('道哥%s吃了 %s' %(name,x))
#
#
# g=dog('alex')
# g.send(None) # 等同于next(g)
#
# g.send(['一根骨头','aaa'])
# # g.send('肉包子')
# # g.send('一同泔水')
# # g.close()
# # g.send('1111') # 关闭之后无法传值


# 二：
def dog(name):
    food_list=[]
    print('道哥%s准备吃东西啦...' %name)
    while True:
        # x拿到的是yield接收到的值
        x = yield food_list # x = '肉包子'
        print('道哥%s吃了 %s' %(name,x))
        food_list.append(x) # ['一根骨头','肉包子']
#
# g=dog('alex')
# res=g.send(None)  # next(g)
# print(res)
#
# res=g.send('一根骨头')
# print(res)
#
# res=g.send('肉包子')
# print(res)
# # g.send('一同泔水')




def func():
    print('start.....')
    x=yield 1111  # x='xxxxx'
    print('哈哈哈啊哈')
    print('哈哈哈啊哈')
    print('哈哈哈啊哈')
    print('哈哈哈啊哈')
    yield 22222

g=func()
res=next(g)
print(res)

res=g.send('xxxxx')
print(res)

三 三元表达式、列表生成式、生成器表达式

3.1 三元表达式

三元表达式是python为我们提供的一种简化代码的解决方案，语法如下

res = 条件成立时返回的值 if 条件 else 条件不成立时返回的值

针对下述场景

def max2(x,y):
    if x > y:
        return x
    else:
        return y

res = max2(1,2)

用三元表达式可以一行解决

x=1
y=2
res = x if x > y else y # 三元表达式

 

# 针对以下需求
# def func(x,y):
#     if x > y:
#         return x
#     else:
#         return y
#
# res=func(1,2)
# print(res)

# 三元表达式
# 语法格式： 条件成立时要返回的值 if 条件 else 条件不成立时要返回的值
x=1
y=2

# res=x if x > y else y
# print(res)


res=111111 if 'egon' == 'egon' else 2222222222
print(res)



# 应用举例
def func():
    # if 1 > 3:
    #     x=1
    # else:
    #     x=3

    x = 1 if 1 > 3 else 3

 

3.2 列表生成式

列表生成式是python为我们提供的一种简化代码的解决方案，用来快速生成列表，语法如下

[expression for item1 in iterable1 if condition1
for item2 in iterable2 if condition2
...
for itemN in iterableN if conditionN
]

#类似于
res=[]
for item1 in iterable1:
    if condition1:
        for item2 in iterable2:
            if condition2
                ...
                for itemN in iterableN:
                    if conditionN:
                        res.append(expression)

针对下述场景

egg_list=[]
for i in range(10):
    egg_list.append('鸡蛋%s' %i)

用列表生成式可以一行解决

egg_list=['鸡蛋%s' %i for i in range(10)]

 

# 1、列表生成式
l = ['alex_dsb', 'lxx_dsb', 'wxx_dsb', "xxq_dsb", 'egon']
# new_l=[]
# for name in l:
#     if name.endswith('dsb'):
#         new_l.append(name)


# new_l=[name for name in l if name.endswith('dsb')]
# new_l=[name for name in l]

# print(new_l)

# 把所有小写字母全变成大写
# new_l=[name.upper() for name in l]
# print(new_l)

# 把所有的名字去掉后缀_dsb
# new_l=[name.replace('_dsb','') for name in l]
# print(new_l)

# 2、字典生成式
# keys=['name','age','gender']
# dic={key:None for key in keys}
# print(dic)

# items=[('name','egon'),('age',18),('gender','male')]
# res={k:v for k,v in items if k != 'gender'}
# print(res)

# 3、集合生成式
# keys=['name','age','gender']
# set1={key for key in keys}
# print(set1,type(set1))

 

3.3 生成器表达式

# 4、生成器表达式
# g=(i for i in range(10) if i > 3)
# ！！！！！！！！！！！强调！！！！！！！！！！！！！！！
# 此刻g内部一个值也没有

# print(g,type(g))

# print(g)
# print(next(g))
# print(next(g))
# print(next(g))
# print(next(g))
# print(next(g))
# print(next(g))
# print(next(g))


with open('笔记.txt', mode='rt', encoding='utf-8') as f:
    # 方式一：
    # res=0
    # for line in f:
    #     res+=len(line)
    # print(res)

    # 方式二：
    # res=sum([len(line) for line in f])
    # print(res)

    # 方式三 ：效率最高
    # res = sum((len(line) for line in f))
    # 上述可以简写为如下形式
    res = sum(len(line) for line in f)
    print(res)

创建一个生成器对象有两种方式，一种是调用带yield关键字的函数，另一种就是生成器表达式，与列表生成式的语法格式相同，只需要将[]换成()，即：

（expression for item in iterable if condition）

对比列表生成式返回的是一个列表，生成器表达式返回的是一个生成器对象

>>> [x*x for x in range(3)]
[0, 1, 4]
>>> g=(x*x for x in range(3))
>>> g
<generator object <genexpr> at 0x101be0ba0>

对比列表生成式，生成器表达式的优点自然是节省内存（一次只产生一个值在内存中）

>>> next(g)
0
>>> next(g)
1
>>> next(g)
4
>>> next(g) #抛出异常StopIteration

如果我们要读取一个大文件的字节数，应该基于生成器表达式的方式完成

with open('db.txt','rb') as f:
    nums=(len(line) for line in f)
    total_size=sum(nums) # 依次执行next(nums)，然后累加到一起得到结果=