Python笔记4（迭代器和生成器）

一、迭代器

如何从列表、字典中取值的：
1）index索引 ，key，前提必须知道索引或key值才能取到对应的value
2）for循环
凡是可以使用for循环取值的都是可迭代的
可迭代协议 ：内部含有__iter__方法的都是可迭代的
迭代器协议 ：内部含有__iter__方法和__next__方法的都是迭代器

print(dir([1,2,3]))
#>>>['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__imul__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort']
lst_iter = [1,2,3].__iter__()
print(lst_iter.__next__())#>>>1
print(lst_iter.__next__())#>>>2
print(lst_iter.__next__())#>>>3

#上面代码相当于for循环取值
for i in [1,2,3]:   #  使用for循环时，在内部调用__iter__方法，变成迭代器。[1,2,3].__iter__()
    print(i)

#使用while循环实现for循环的机制
l = [1,2,3]
lst_iter = iter(l)   # iter(l)相当于l.__iter__()，都是产生一个迭代器
while True:
    try:
        print(next(lst_iter)) # next(lst_iter)相当于lst_iter.__next__()
    except StopIteration:
        break

# 什么是可迭代的
# 什么是迭代器     迭代器 = iter(可迭代的)，自带一个__next__方法
# 可迭代 最大的优势 节省内存

#例：以下是python3运行的结果
from collections import Iterable,Iterator
print(range(100000000))
print(isinstance(range(100000000),Iterable))#判断是不是可迭代的
print(isinstance(range(100000000),Iterator))#判断是不是迭代器
# >>>range(0, 100000000)
# >>>True
# >>>False

# python2 range 不管range多少 会生成一个列表 这个列表将用来存储所有的值
# python3 range 不管range多少 都不会实际的生成任何一个值
# 迭代器的优势:
#     节省内存
#     取一个值就能进行接下来的计算 ，而不需要等到所有的值都计算出来才开始接下来的运算 —— 快
# 迭代器的特性:惰性运算

#例
f = open()
for line in f:#用一行读一行

# 可迭代对象：列表 字典 元组 字符串 集合 range 文件句柄 enumerate（加序号）

 二、生成器

生成器 Generator
自己写的迭代器 就是一个生成器
两种自己写生成器(迭代器)的机制：生成器函数   生成器表达式

1、生成器函数

# 凡是带有yield的函数就是一个生成器函数
def func():
    print('****')
    yield 1
    print('^^^^')
    yield 2   # 记录当前所在的位置，等待下一次next来触发函数的状态

g = func()
print('--',next(g))
#>>>****
#>>>-- 1
print('--',next(g))
#>>>^^^^
#>>>-- 2

例1：

# 需要定制200 0000件衣服
# 承包：牛翔  一起做完200 0000才进行反馈，这时候已经开到40期了
# 承包：赵英杰 200 0000，你每一期需要的时候才进行生产和反馈

def cloth(num):
    ret = []
    for i in range(num):
        ret.append('cloth%s'%i)
    return ret
ret=cloth(10)
print(ret)#>>>['cloth0', 'cloth1', 'cloth2', 'cloth3', 'cloth4', 'cloth5', 'cloth6', 'cloth7', 'cloth8', 'cloth9']

# 想要生成器函数执行，需要用next
def cloth_g(num):
    for i in range(num):
        yield 'cloth%s'%i

g = cloth_g(1000)
print(next(g))#>>>cloth0
print(next(g))#>>>cloth1
print(next(g))#>>>cloth2

例2：使用生成器监听文件输入的例子

#在mac系统上不能直接操作文件，需要关闭或使用程序写入文件
import time
def listen_file():
    with open('userinfo') as f:
        while True:
            line = f.readline()
            if line.strip():
                yield line.strip()
            time.sleep(0.1)

g = listen_file()
for line in g:
    print(line)

例3：send关键字

def func():
    print(11111)
    ret1 = yield 1
    print(22222,'ret1 :',ret1)
    ret2 = yield 2
    print(33333,'ret2 :',ret2)
    yield 3

g = func()
ret = next(g)#第一次使用生成器时不能用send执行
print(ret)
#>>>11111
#>>>1
print(g.send('alex'))  # 在执行next的过程中 传递一个参数 给生成器函数的内部
#>>>22222 ret1 : alex
#>>>2
print(g.send('金老板'))
#>>>33333 ret2 : 金老板
#>>>3

备注：向生成器中传递值 有一个激活的过程 第一次必须要用next触发这个生成器

例4：计算移动平均值

# 计算移动平均值
# 月度 的 天平均收入
def average():
    sum_money = 0
    day = 0
    avg = 0
    while True:
        money = yield avg
        sum_money += money
        day += 1
        avg = sum_money/day

g = average()
next(g)#得到一个0
print(g.send(200))#>>>200.0
print(g.send(300))#>>>250.0
print(g.send(600))#>>>366.6666666666667

 2、预激生成器

作用：当程序中的多个函数都需要预激活，那么就可以交给装饰器来解决

def init(func):
    def inner(*args,**kwargs):
        ret = func(*args,**kwargs)
        next(ret)  # 预激活
        return ret
    return inner

@init
def average():
    sum_money = 0
    day = 0
    avg = 0
    while True:
        money = yield avg
        sum_money += money
        day += 1
        avg = sum_money/day

g = average()
print(g.send(200))
print(g.send(300))
print(g.send(600))

3、yield from （python3中的用法）

def generator_func():
    yield from range(5)
    yield from 'hello'
#与下列代码相同
    # for i in range(5):
    #     yield i
    # for j in 'hello':
    #     yield j

g = generator_func()
for i in generator_func():#与for i in g:相同
    print(i)

g = generator_func()
while True:
    print(generator_func())#会报错，每一次执行此函数都会生成一个新的生成器
g1 = generator_func()
g2 = generator_func()
next(generator_func())
next(generator_func())

4、如何从生成器中取值

# 第一种 ：next  随时都可以停止 最后一次会报错
print(next(g))
print(next(g))
# 第二种 ：for循环 从头到尾遍历一次 不遇到break、return不会停止
for i in g:
    print(i)
# 第三种 ：list tuple 数据类型的强转  会把所有的数据都加载到内存里 非常的浪费内存
print(g)
print(list(g))

5、总结

# 生成器函数 是我们python程序员实现迭代器的一种手段
# 主要特征是 在函数中 含有yield  不建议使用return
# 调用一个生成器函数 不会执行这个函数中的带码 只是会获得一个生成器（迭代器）
# 只有从生成器中取值的时候，才会执行函数内部的带码，且每获取一个数据才执行得到这个数据的带码
# 获取数据的方式包括 next send 循环 数据类型的强制转化
# yield返回值的简便方法，如果本身就是循环一个可迭代的，且要把可迭代数据中的每一个元素都返回 可以用yield from
# 使用send的时候，在生成器创造出来之后需要进行预激，这一步可以使用装饰器完成
# 生成器的特点 ： 节省内存 惰性运算
# 生成器用来解决 内存问题 和程序功能之间的解耦
#解耦：将功能性的代码进行尽量拆分，提交代码可读性，复用性

三、生成器表达式

# 列表推倒式
#求平方，然后存放到列表中
#方式1
new_lst = []
for i in range(10):
    new_lst.append(i**2)
print(new_lst)
#方式2
print([i**2 for i in range(10)])
#求2的余数，然后存放放列表中
l = [1,2,3,-5,6,20,-7]
print([i%2 for i in range(10)])
#找出所有的奇数，然后存放放列表中
l = [1,2,3,-5,6,20,-7]
print([num for num in l if num%2 == 1])

# 30以内所有能被3整除的数
print([i for i in range(30) if i%3 ==0])

# 30以内所有能被3整除的数的平方
print([i**2 for i in range(30) if i%3 ==0])

# 找到嵌套列表中名字含有两个‘e’的所有名字
names = [['Tom', 'Billy', 'Jefferson', 'Andrew', 'Wesley', 'Steven', 'Joe'],
         ['Alice', 'Jill', 'Ana', 'Wendy', 'Jennifer', 'Sherry', 'Eva']]
print([name for name_lst in names for name in name_lst if name.count('e') == 2])

# 生成器表达式
l = [i for i in range(30) if i%3 ==0]   # 列表推倒式 排序的时候
g = (i for i in range(30) if i%3 ==0)   # 生成器表达式 庞大数据量的时候 使用生成器表达式
print(l)#>>>[0, 3, 6, 9, 12, 15, 18, 21, 24, 27]
print(g)#>>><generator object <genexpr> at 0x000002A16630B8E0>
for i in g:print(i)

四、面试题

# 面试题1
# def demo():
#     for i in range(4):
#         yield i
#
# g=demo()
#
# g1=(i for i in g)
# g2=(i for i in g1)
#
# print(list(g1))#>>>[0, 1, 2, 3]
# print(list(g2))#>>>[]


# 面试题2
# def add(n,i):
#     return n+i
#
#
# def test():
#     for i in range(4):
#         yield i
#
# g=test()
# for n in [1,10]:
#     g=(add(n,i) for i in g)
#
# print(list(g))#>>>[20, 21, 22, 23]


# 一个生成器 只能取一次
# 生成器在不找它要值的时候始终不执行
# 当他执行的时候，要以执行时候的所有变量值为准